hadoop之伪分布式

接上篇 http://blog.csdn.net/yibei8811/article/details/46709135

配置文件etc/hadoop/core-site.xml:添加

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>  --配置hdfs分布式文件系统
    </property>
</configuration>

配置文件etc/hadoop/hdfs-site.xml:添加

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>                      --文件系统存储几份
    </property>
</configuration>

hadoop需要各个datanode通讯，数据复制，需要设置ssh免密码登陆，执行

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

使用命令

ssh localhost

测试是是否成功，如果不成功，执行

cd ~/.ssh/
chmod 600 authorized_keys

貌似ssh免登陆需要600权限。

进入hadoop主目录，依次执行代码测试

1.

bin/hdfs namenode -format   --格式化文件系统

2.

sbin/start-dfs.sh           --启用文件系统

这里启动的时候报错JAVA_HOME找不到，检索以下脚本报错信息位置。

find ./ -name '*.sh' |xargs grep 'Error: JAVA_HOME is not set and could not be found'
./libexec/hadoop-config.sh:    echo "Error: JAVA_HOME is not set and could not be found." 1>&2