Hadoop技术集群安装

Hadoop技术集群安装

参考文档：

python基础操作以及hdfs操作 - Simon92 - 博客园

https://blog.csdn.net/qq_23043541/article/details/82120089?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1.no_search_link

python使用hdfs库操作Hadoop的HDFS_名狱的博客-CSDN博客_pyhdfs库

https://blog.csdn.net/lp895876294/article/details/114232807

https://www.cnblogs.com/jstarseven/p/7682221.html

Hadoop安装-超详细 - 知乎

1. 在三台机器上面添加组件安装账号: 也可以直接root安装
用户名:user1   分组：DataGroup1  密码： *****

2.关闭防火墙（这三台机器没有开，所以不需要操作）
  603   root 2021-05-24 13:18:13 systemctl stop firewalld
  604   root 2021-05-24 13:18:17 systemctl status firewalld
3.配置 /etc/ssh/sshd_config  允许适当的登录方式
  (base) [root@29-DT/]#vim /etc/ssh/sshd_config
  (base) [root@229-DT/]#service sshd restart
4.更改机器名 配置对用的ip
  参考命令：hostnamectl set-hostname slave1
    vim /etc/hosts
    10.182.*****  master
    10.182.*****   slave1
    10.182.*****   slave2
5.master slave1 slave2 三台机器间的免密登录（slave1-slave2-master)  
    在master上操作：
    ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa   #生成 id_rsa  id_rsa.pub
    cp id_rsa.pub authorized_keys     #将公钥拷到一个特定文件authorized_keys中
    [root@master~/.ssh]#scp authorized_keys  root@slave1:/root/.ssh/   #拷贝到slave1

    在slave1上操作：
    ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa   #生成 id_rsa  id_rsa.pub
   [root@slave1~/.ssh]#cat id_rsa.pub >> authorized_keys
   #scp authorized_keys  root@slave2:/root/.ssh/

    在slave2上操作：
    ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa   #生成 id_rsa  id_rsa.pub
   cat id_rsa.pub >> authorized_keys
   scp authorized_keys  root@slave1:/root/.ssh/
   scp authorized_keys  root@master:/root/.ssh/

    验证免密登录功能（略）
6.JDK 安装（注意版本选择，1.8几乎适合所以大数据软件，此次安装使用版本jdk1.8.0_271）
   tar zxvf jdk-****.tar.gz   #下载解压对应的版本
   修改 /etc/profile 
    export JAVA_HOME=/run/software/jdk1.8.0_271
    export JRE_HOME=/run/software/jdk1.8.0_271/jre
   
    执行source /etc/profile
    java -version  #查看版本号是否正确
  
    
 7.hadoop 安装
    1. 修改系统名字，及三个系统的ip和名字的映射（参考上面第四项）
    2. ping  连通性测试    
    3.SSH实现三台机子免密码登录 （参考上面第5项）
    4.安装jdk （参考上面第六项）
    5.hadoop安装包先上传到master，在master安装hadoop最后将安装好的文件传给其他机子
    6.后续工作参考：https://blog.csdn.net/qazwsxpcm/article/details/78637874
            https://zhuanlan.zhihu.com/p/32561305