2012年06月_Jessie

09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 myeclipse下执行程序报错IO异常。hadoop查看也报错的解决。

$ bin/hadoop fs -cat /tmp/wordcount/word.txt12/06/29 18:07:53 INFO hdfs.DFSClient: No node available for block: blk_-6169034246478912245_1004 file=/tmp/wordcount/word.txt12/06/29 18:07:53 INFO hdfs.

2012-06-29 18:28:08 3986

原创 hadoop删除文件报错Name node is in safe mode

报错内容：rm: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete /tmp/wordcount/out.txt/part-r-00000. Name node is in safe mode. 解决方法：$ bin/hadoop dfsadmin -safemode leave （回车，关闭

2012-06-29 17:58:04 4037

原创 shell传时间段参数

#!/bin/shd1=20111201 d2=20120625 time=$(($(date +%s -d ''$d2'') - $(date +%s -d ''$d1''))); #日期差t=`expr $time / 86400` #相差天数for ((i=0;ido#echo $d1perl xx.pl $d1d1=`date -d ''$d1'

2012-06-27 18:15:05 2918

原创安装Windows环境下的hadoop

下载并安装cygwin安装sshd下载并安装hadoop注：配置的java环境目录里面不要有空格，否则hadoop安装不成功。 2012-06-26 hadoop安装成功。谨记。应用还不知道怎么回事，加油啊！hadoop开发工资很诱人呀！

2012-06-26 18:13:29 902

转载 Linux下的split 命令（将一个大文件根据行数平均分成若干个小文件）

将一个大文件分成若干个小文件方法例如将一个BLM.txt文件分成前缀为 BLM_ 的1000个小文件，后缀为系数形式，且后缀为4位数字形式先利用wc -l BLM.txt 读出 BLM.txt 文件一共有多少行再利用 split 命令split -l 2482 ../BLM/BLM.txt -d -a 4 BLM_将文件 BLM.txt 分成若干个小文件，每个

2012-06-15 14:38:15 22778 2