2015年01月_caiandyong

原创求集合的所有子集（java实现）

2015-01-31 22:08:20 3762 1

原创概念格-java实现

2015-01-29 19:37:41 2909 16

原创 HDFS管理与更新

1.报告HDFS的统计信息bin/hadoop dfsadmin -report2.安全模式NameNode在启动的时候会自动进入安全模式，安全模式是NameNode一种状态。在安全模式下，不允许文件有任何修改。启动安全模式的目的是在系统启动是检查各个DataNode的数据块是否有效，同时根据策略对数据块进行复制和修改。当DataNode满足配置策略时，NameNod

2015-01-25 23:20:59 515

原创 Hadoop的NameNode无法启动解决方法

执行start-all.sh的时候发现jps一下发现NameNode没有启动。原因：Hadoop默认的hadoop.tmp.dir里面的文件每次重新开机会被清空，NameNode的格式化信息会一起被清空。解决方法：重新配置hadoop.tmp.dir（1）在/home/caiyong（我的个人主目录）目录下建立一个hadoop_tmp目录；（2）修改

2015-01-22 12:46:01 2311

原创 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid

几天前配置好了hadoop1.2.1，一直好好的。自从更改了core-site.xml中的hadoop.tmp.dir为/home/caiyong/hadoop_tmp后，启动hadoop，jps查看只有5个进程，DataNode始终不见，重启了几次还是看不到DataNode进程。查看日志发现如下错误：2015-01-22 11:48:55,063 INFO org.apache.hadoop

2015-01-22 12:19:49 3307

原创 Hadoop1.2.1集群配置

0.环境说明1个master1,3个slavemasterIP:10.10.38.71slave1IP:10.10.39.14slave2IP:10.10.36.150slave3IP:10.10.39.3JDK：jdk-7u25-linux-i586.tar.gzHadoop:hadoop-1.2.1.tar.gz在4台机器上设置相同的用户组和用户名。

2015-01-22 09:49:37 504

原创 HDFS常用操作

1.格式化HDFSbin/hadoop namenode -format2.启动HDFSbin/start-dfs.sh3.关闭HDFSbin/stop-dfs.sh4.创建目录bin/hadoop fs -mkdir 目录如：bin/hadoop fs -mkdir /user/cai 注意：hadoop的mkdir会自动创建父目录

2015-01-21 11:41:23 1560

原创 ubuntu上安装eclipse的方法

前提：在ubuntu上已经安装了JDK，在ubuntu上安装JDK的方法请参考在Ubuntu上安装与配置Hadoop 一文的安装JDK部分。我的安装环境：系统：Ubuntu 14.10,运行在VMware Workstation上JDK:jdk-7u25-linux-i586Eclipse:eclipse-java-helios-SR2-linux-gtk.ta

2015-01-20 20:21:26 824

原创 Hadoop 2.6.0的安装与配置

系统：Ubuntu 14.10，其部署在VMware workstation 11.0.0上JDK：jdk-7u25-linux-i586.tar.gzHadoop:hadoop-2.6.0.tar.gz（下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/）Step1：上传安装包在windows系统预

2015-01-17 22:56:42 8026

原创在Ubuntu上安装与配置Hadoop

安装环境操作系统：ubuntu14.10，运行在virtualBox上。Hadoop：hadoop-1.0.4.tar.gzJDK：jdk-7u25-linux-i586.tar.gz 首先把要用到的压缩包上传到Ubuntu,在这里我使用Xshell作为远程管理工具，Xftp作为文件管理工具。在/home/caiyong（当前用户目录）下创建setup文件

2015-01-17 13:38:34 978

蔡先生的专栏