2015年04月_caiandyong

转载总结过去10年的程序员生涯（转自网友）

展望未来，总结过去10年的程序员生涯，给程序员小弟弟小妹妹们的一些总结性忠告走过的路，回忆起来是那么曲折，把自己的一些心得体会分享给程序员兄弟姐妹们，虽然时代在变化，但是很可能你也会走我已经做过的10年的路程，有些心得体会你可以借鉴一下，觉得说得有道理的你就接纳，觉得说得没道理的，你就抛弃，以下是我发自内心的，给大家的忠告，特别是针对那些小弟弟妹妹们。01. 自己的户口档案、养老保险

2015-04-23 21:31:46 433

转载 Java的Container示例程序

本文转载自：http://blog.chinaunix.net/uid-89657-id-2443930.htmlimport java.util.*;public class JAVAContainer {public static void main(String[] args) throws Exception {// ArrayList{ArrayList ar

2015-04-20 09:50:07 2316

原创 MapReduce Job Control

package org.cy.pack1;import java.net.URI;import java.util.ArrayList;import java.util.Date;import java.util.HashMap;import java.util.List;import java.util.Map;import org.apache.hadoop

2015-04-19 16:43:14 863

原创 Java HashMap按value进行排序

程序代码：import java.util.ArrayList;import java.util.Collections;import java.util.Comparator;import java.util.HashMap;import java.util.List;import java.util.Map;public class TestMapSort { /*

2015-04-14 17:17:40 2537

原创 hadoop2.6.0 dfs.blocksize

在hdfs-site.xml中配置了dfs.blocksize的大小，那么通过命令行上传至HDFS的文件就按照dfs.blocksize的大小进行分块。如果是通过eclipse进行文件上传，那么文件块的大小就按照Map/Reduce Locations的Advanced parameters中的dfs.blocksize的大小决定。以上设置的文件快大小受到dfs.namenode.fs

2015-04-12 21:48:48 5900

原创在ubuntu上安装weka

0.前提系统已有java环境1.解压缩安装包caiyong@caiyong:/home/caiyong/setup/weka$sudo unzip weka-3-6-12.zip -d /opt/caiyong@caiyong:/opt/weka$ sudo mv weka-3-6-12/ wekacaiyong@caiyong:/opt$ sudo chown

2015-04-09 22:07:31 2129

原创 yarn.server.nodemanager.security.NMContainerTokenSecretManager.retrievePassword

在新搭建Hadoop2.6.0集群上运行自己写的程序报以下错误：hadoop@master:/opt/hadoop$ bin/hadoop jar /home/hadoop/桌面/GRbyMDAS.jar Process15/04/07 20:20:00 WARN util.NativeCodeLoader: Unable to load native-hadoop library

2015-04-08 14:43:32 1418

原创 hadoop2.6.0 nodemanager启动后过一段时间就自动关闭

hadoop2.6.0集群启动后，在slave节点上jps能够看到nodemanager进程，但是过一会nodemanager进程就不见了．查看日志发现是因为配置错误导致的，更改后所有的配置文件内容如下：(更改配置文件后，要删除之前配置文件里设置的相关目录里面所有的内容后重新format，再start-all)core-site.xml fs.de

2015-04-07 21:06:38 12275

原创 hadoop2.6.0控制集群节点个数

要控制集群节点的个数,只需要更改主控节点(master)上Hadoop安装目录下面./etc/hadoop下面的slaves文件,通过添加或删除slave的ip或ip映射的名字,然后在主控节点执行start-all.sh就可以了.1.slaves里面放一个slaveslave1启动集群后,查看状态:hadoop@master:/opt/hadoop$ jps27

2015-04-05 13:40:11 3051

蔡先生的专栏