1) sshd在mac上
ps -ef|grep sshd 没有sshd服务,使用sudo /usr/sbin/sshd启动
2)配置(伪分布模式)
配置namenode core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
配置jobtracker
mapred-site.xml
<property>
<name>mapre.job.tracker</name>
<value>localhost:9001</value>
</property>
配置HDFS备份参数
hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
还需要在文集masters中指定SNN的位置,在文件slaves中指定从节点的位置
>cat masters //备份服务器的地址
localhost
>cat slaves //所有从节点的位置,回车分割多个节点地址
localhost
3)启动
先进行namenode格式化。hadoop namenode -format
启动: start-all.sh
停止:stop-all.sh
4) hadoop文件操作
格式:hadoop fs -cmd
hadoop fs -ls
5)jps 查看启动了的hadoop进程
hadoop 2.2 开始没有jobtracker,只有nodemanager和resourcemanager。这是因为开始使用了yarn,具体参看http://www.aboutyun.com/thread-7678-1-1.html
另外,可参考http://www.aboutyun.com/thread-7678-1-1.html
Troubleshootings:
1)ssh localhost 失败
参考文章第一条
2)Unable to load realm info from SCDynamicStore
这是因为hadoop对jdk版本支持问题。java -version确定版本,若为1.6,则在hadoop-env.sh中加入行
export HADOOP_OPTS="$HADOOP_OPTS -Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"
3)运行hadoop fs -ls出现connection refused
启动hadoop顺序出错。应先hadoop namenode -format, 再start-all.sh