hadoop平台的搭建

需要交流请进群-- 494831900 --我和群中朋友会及时回答

1.Hadoop是什么？

适合大数据的分布式存储和计算平台。
2.Hadoop的核心组成？
HDFS(分布式的文件系统)和MapReduce(分布式的计算平台)。
3.HDFS的结构？
主(只有一个，NameNode)、从(有多个，DataNode)式结构。
4.MapReduce的结构？
主(只有一个， JobTracker)、从(有多个，TaskTracker)式结构。

5.hadoop的伪分布安装
1）关闭防火墙
（1.1）在linux的终端下，执行setup，弹出窗口中选择Firewall Configuration，
使用空格操作去掉Enuabled前面的*号，一步步退出。
（1.2）验证防火墙是否关闭，执行service iptables status
（1.3）关闭防火墙自动启动功能，执行命令 chkconfig --list|grep iptables
如果显示有on，意味着会重启后启动防火墙

使用命令chkconfig iptables off关闭

再次执行chkconfig --list|grep iptables 验证
2）修改ip
（2.1）在右上角的网络上右键，弹出菜单中选择“Edit Connections”,修改......
（2.2）重启网卡，执行service network restart
（2.3）验证修改是否生效，执行ifconfig，查看ip是否生效
（2.4）在宿主机ping 虚拟机ip
3）修改主机名
（3.1）修改文件，执行vi /etc/sysconfig/network,修改新的主机名后，保存退出
（3.2）执行命令 hostname 新的主机名
4）绑定ip与主机名
执行vi /etc/hosts，增加一行记录192.168.1.221 hadoop0
5）设置ssh免密码登录
（5.1）生成密钥文件，执行命令ssh-keygen -t rsa,三次回车
生成授权文件cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
(5.2)验证 ssh localhost不需要输入密码表明成功
**记得退出**
6）安装jdk
（6.1）确定安装位置，放在/usr/local
(6.2)设置执行权限，执行chmod 777 jdk......
(6.3)解压缩，执行./jdk......
(6.4)重命名，执行mv jdk.... jdk
(6.5)设置环境变量，执行vi /etc/profile
增加两行内容export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
保存退出
查看修改是否成功 more /etc/profile
立即生效，执行source /etc/profile 
(6.6)验证，执行java -version
7) 安装hadoop
（7.1）解压缩，执行 tar -zxvf hadoop-1.1.2.tar.gz
(7.2) 重命名，执行mv hadoop-1.1.2 hadoop
(7.3)设置环境变量，执行vi /etc/profile
增加一行export HADOOP_HOME=/usr/local/hadoop
修改一行export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
保存退出
(7.4)查看内容，执行more /etc/profile
(7.5)立即生效，执行source /etc/profile
(7.6)修改conf目录下的4个配置文件，具体见ppt
注意：ppt中的hadoop0应该对应自己机器的主机名
(7.7)格式化文件系统，执行hadoop namenode -format
(7.8)启动，执行start-all.sh
(7.9)验证：
<1>执行jps，总共6个，看到5个新的java进程
<2>在linux下使用firefox查看hadoop0:50070或者hadoop0:50030端口
常见错误：
(1)执行jps，看不到Namenode进程
可能原因:忘记执行格式化
配置文件出错
没有绑定主机名
6.取消hadoop执行命令时的警告
执行vi /etc/profile，增加一行export HADOOP_HOME_WARN_SUPPRESS=0
保存退出，执行source /etc/profile
7.在宿主机的浏览器访问linux中的hadoop
在宿主机的c:\windows\system32\drivers\etc\hosts文件中增加192.168.56.101 hadoop0
8.常用的hdfs命令
hadoop fs -ls hdfs的绝对路径 #####查看一级目录
-lsr hdfs的绝对路径       #####递归查看
-mkdir hdfs的绝对路径      #####创建文件夹
-put 第一个表示linux原路径第二个表示hdfs路径 ####上传
-get 第一个表示hdfs路径第二个表示linux路径 ###下载
-rmr hdfs的绝对路径       #####递归删除
-text hdfs的绝对路径       #####查看文本内容

**********HDFS的路径不等于Linux的路径**********
9.如何修改为桥接模式
9.1）关闭虚拟机，在虚拟机点“设置”，选择“网络”，修改右边的连接模式为“桥接”
9.2）网段设置为192.168.1.xxx，虚拟机的ip一定要唯一
10.hadoop的集群搭建过程
10.1）确定集群结构
192.168.1.221作为主节点，运行NameNode、JobTracker、SecondaryNameNode
192.168.1.222作为从节点，运行DataNode、TaskTracker
  10.2) 绑定各节点的ip与主机名映射，应该修改/etc/hosts文件
10.3）确保各个节点之间ssh免密码登录
在1.221上执行 ssh-copy-id -i ~/.ssh/id_rsa.pub Hadoop
在1.222上执行 ssh-copy-id -i ~/.ssh/id_rsa.pub Hadoop01
10.4）复制hadoop、jdk到新的节点(从未安装jdk、hadoop)上
scp -r /usr/local/hadoop Hadoop01:/usr/local
scp -r /usr/local/jdk Hadoop01:/usr/local
scp -r /etc/profileHadoop01:/etc/
10.5）在主节点上的/usr/local/hadoop/conf里修改文件
执行vi masters，删除原内容，添加Hadoop，保存退出
执行vi slaves， 删除原内容，添加Hadoop01，保存退出
10.6）删除各节点hadoop目录下的tmp文件夹
只在主节点，执行hadoop namenode -format
只在主节点，执行start-all.sh
  10.7）验证：
  在主节点执行jps，看到3个进程，分别是NameNode、SecondaryNameNode、JobTracker
  在从节点执行jps，看到2个进程，分别是DataNode、TaskTracker