配置Hadopp的伪分布集群操作和完全分布式操作

首先配置Hadopp集群操作之前得先配置jdk，因为Hadoop依赖于java

伪分布集群操作

一 jdk的安装

https://download.csdn.net/download/qq_36698956/10731785 官网下载

1. 使用命令rz把压缩包导到linux系统中，rz命令得下载 -----yum install lrzsz -y 或者使用工具xftp6也行

2. 解压 tar -zxvf jdk

3. vi /etc/profile 配置环境变量
   export JAVA_HOME=/opt/software/jdk1.8.0_121 注意：这是我的安装地址实际操作按你的地址来
   export PATH=$PATH:$JAVA_HOME/bin

4. source /etc/profile 让环境变量生效

5. 检查是否配置成功输入 Java -version

二 Hadoop伪分布式的安装

https://download.csdn.net/download/u012957653/10398820 下载
一台虚拟机就行这是伪分布式

1. 使用命令rz把压缩包导到linux系统中，rz命令得下载 -----yum install lrsz -y 或者使用工具xftp6也行
2. 解压 tar -zxvf Hadopp
3. bin目录下 --------系统的操作命令（文件的增删改查）
4. sbin目录下 --------系统的管理命令（集群的启动、关闭）
5. 切换到Hadopp下etc目录的hadopp的目录下 cd etc/hadopp
6. vi slaves 改成自己的主机名 这就是配置从节点Datanode
   我的主机名是node
7. vi hdfs-site.xml 配置副本的个数 和二次节点secondaryNamenode
   记住配置的时候把你们的主机名换一下比如node：50090改成****：50090
8. vi core-site.xml 配置主节点Namenode 和 运行时产生的镜像文件fsimage和edits文件还是别忘改主机名，镜像文件可以改成自己的文件夹
9. 在etc/hadoop目录下把所有的*-env.sh的文件内部所有的Java路径改成绝对路径 /opt/software/jdk1.8.0_121
10. 格式化Hadoop集群 /opt/software/hadoop-2.6.5/bin目录下启动**./hdfs namenode -format**
11. 启动命令 /opt/software/hadoop/sbin----start-dfs.sh
12. 在主页面切换到 vi /etc/profile 加上Hadopp集群的环境变量
    export HADOOP_HOME=/opt/software/hadoop-2.6.5
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

最后配置一下虚拟机免密登录
是为了每次访问虚拟机不需要输入密码
1.ssh-keygen -t rsa 一路敲回车 意思表示生成私密钥匙
2.sh-copy-id -i ~/.ssh/id_rsa.pub root@node 设置公钥为了让外界访问

完全分布式集群

1. vi /etc/hosts 配置多个节点的网络映射
   例如：
   192.168.79.123 node01
   192.168.79.124 node02
   192.168.79.125 node03
   192.168.79.126 node04
2. 多节点之间免密配置
   (1)配置免密登录 node01->node01
   在每一个节点上运行ssh-keygen -t rsa 产生他们自己的密钥
   在主节点运行
   ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
   ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
   ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
   ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04
   注意：将某一个节点的文件发送到其他的节点上
   scp /etc/hosts root@192.168.79.124:/etc
3. 配置slaves到多个节点上-----设置的是DN(Datanode)节点的启动位置
4. 修改core-site.xml和hdfs-site.xml
   这是core-site.xml
   
   这是hdfs-site.xml
5. 将修改完成后的文件发送到其他的节点上
   scp -r hadoop-cluster root@node02(主机名):/opt/software
6. 格式化Hadoop集群 /opt/software/hadoop-2.6.5/bin目录下启动**./hdfs namenode -format**
7. 启动集群 /opt/software/hadoop/sbin----start-dfs.sh