使用Hadoop命令

命令：
使用hadoop相关命令需要先进入hadoop安装的根目录。

在cygwin中访问windows盘，比如访问d盘命令：
cd /cygdrive/d

进入hadoop根目录：（我的安装目录：e:\hadoop\run）
cd /cygdrive/e/hadoop/run

然后就可以在cygwin提供的模拟linux环境下执行hadoop命令。

[color=blue]在运行hadoop命令的过程中：bin/hadoop version
结果出现形如“./bin/hadoop:Line 2:$'r':Command Not Found ”的错误，需要运行如下命令修复shell文件：
dos2unix bin/hadoop
dos2unix bin/*.sh
dos2unix conf/*.sh
如此，方可无错误的运行hadoop命令。
[/color]

[b]伪分布式模式的操作方法 [/b][size=large][/size]
Hadoop 可以在单节点上以所谓的伪分布式模式运行，此时每一个Hadoop 守护进
程都作为一个独立的Java 进程运行。
配置
使用如下的 conf/hadoop-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>localhost:9000</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
免密码 ssh 设置
现在确认能否不输入口令就用ssh 登录 localhost:
$ ssh localhost
如果不输入口令就无法用ssh 登陆 localhost，执行下面的命令
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
执行
格式化一个新的分布式文件系统：
$ bin/hadoop namenode -format
启动Hadoop 守护进程：
$ bin/start-all.sh
Hadoop 守护进程的日志写入到 ${HADOOP_LOG_DIR} 目录 (默认是
${HADOOP_HOME}/logs).
浏览NameNode 和 JobTracker 的网络接口，它们的地址默认为：
 NameNode - http://localhost:50070/
 JobTracker - http://localhost:50030/
可以分别进入其管理界面