hadoop部署实践操作

hadoop部署实践操作（伪分布式）

环境ubuntu

操作：
[color=red]1安装好JDK（java基础，非本文重点）[/color]

[color=red]2修改主机名，并绑定ip，关闭防火墙[/color]
假设修改主机名为aly
~# hostname aly (此方法及时生效，重启还原)

(此方法永久生效，包括重启，没测试)
# vi /etc/hostname
修改为 aly，保存退出。

现在ping主机名，ping不通，需要绑定ip
#ping aly (找不到)
# vi /etc/hosts
加上：(你的ip) aly，如114.215.104.** aly 保存退出。

#ping aly (是否ping的通)

关闭防火墙(这里测试以防万一，正式环境一般开启)
#sudo ufw status (查看状态)
#sudo ufw disable (关闭)
#sudo ufw enable (开启)

[color=red]3配置ssh免密码登录模式[/color]
首先确定已经安装ssh，没有输入命令# sudo apt-get install ssh (安装)

# cd ~/.ssh (进入根目录的ssh隐藏文件夹，如果没有创建一个)
# ssh-keygen -t rsa (生成私钥id_rsa 公钥id_rsa.pub给对方，这里对方是自己)
# cp id_rsa.pub authorized_keys (意思是把公钥加到用于认证的公钥文件中，这里的authorized_keys是用于认证的公钥文件)
# ssh localhost (验证登录ssh)
# exit (退出)


[color=red]4安装hadoop[/color]
下载hadoop-1.1.2并上传到服务器
# tar -zxvf hadoop-1.1.2.tar.gz (解压)
# vi /etc/profile (添加环境变量)
export HADOOP_HOME=/home/hadoop-1.1.2
export PATH=[color=blue]$HADOOP_HOME/bin:[/color]$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
# source /etc/profile

修改/home/hadoop-1.1.2/conf下的4个文件
1.hadoop-env.sh (第9行export JAVA_HOME=/usr/java/jdk1.7.0_51 ##jdk安装路径)
[color=blue]注意：sh文件不要下载下来修改，这样会影响格式类型转换，直接使用vi修改[/color]
2.core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://aly:9000</value> <!-- 主机名 -->
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value> <!-- 指定文件系统依赖的基础配置路径 -->
</property>
</configuration>
3.hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
4.mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>aly:9001</value> <!-- 主机名 -->
</property>
</configuration>


root@aly:/home/hadoop-1.1.2/bin# [color=red]hadoop namenode -format[/color] (启动格式化)
[color=blue]注意：多次格式化也是错误的，方法：删除/usr/local/hadoop/tmp文件夹，重新格式化
[/color]
# start-all.sh (启动)
# stop-all.sh (关闭)

# jps (查看启动的java进程)
8450 SecondaryNameNode
8639 TaskTracker
8232 NameNode
8525 JobTracker
8341 DataNode

输入ip加端口
http://114.215.104.**:50070/ (NameNode)
http://114.215.104.**:50030 (Map/Reduce)

修改启动时警告
Warning: $HADOOP_HOME is deprecated.
在/etc/profile中加上
export HADOOP_HOME_WARN_SUPPRESS=1