03.hadoop集群和hdfs开篇

1.ssh 使用无密登录(在本地创建公钥和私钥)

#每台都这样配置
#hadoop102 ssh hadoop103

图hd公钥???找不到了

   ls -al #可以查看隐藏文件,登录过有这个文件
   cd /home/atguigu/.ssh
   #的known_hosts文件,双方服务器都有这个文件
   ssh-keygen -t rsa #三次回车
   #id_rsa私钥 id_rsa.pub公钥 ,复制公钥到103
    yum -y install openssh-clients ssh
    ssh-copy-id hadoop103
   #免密登录
     ssh hadoop103
     exit
   #给自己也免密
     ssh_copy-id hadoop102
   #每个用户都需要重新配置ssh加密

2.集群配置

#在102配置 NameNode SecondaryNameNode不安装在同一台机器 耗内存
ResourceManager不与 NameNode SecondaryNameNode一台机器耗内存

图 hd集群规划 #有默认4个配置文件,在学习资料里面在
/opt/module/hadoop-3.3.0/ect/hadoop有

    #记得改core.xml的hadoop.tmp.dir 默认是在tmp目录 会1个月定时删除
    #配置文件core-site.xml
     <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>



    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.3.0/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为atguigu -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>atguigu</value>
    </property>
   #hdfs-site.xml
  <!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>

#yarn-site.xml

    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    <!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

#mapred-site.xml

   	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

3.配置workers 配置集群

   vi /opt/module/hadoop-3.3.0/etc/hadoop/workers
    #删掉localhost,不允许空格
     hadoop102
     hadoop103
     hadoop104
   #分发
     /home/atguigu/bin/xsync /opt/module/hadoop-3.3.0/etc/hadoop/workers

4.第一次需要初始化,多了data和logs文件夹

#!!! 切换用户也要重新生成ssh免密

 hdfs namenode -format

  #发生错误  Unable to write in /opt/module/hadoop-3.3.1/logs. Aborting.
          sudo chmod 777 /opt/module/hadoop-3.3.0/logs
   #启动集群的命令 sbin目录,!!! 不删除文件,他就不保存配置信息....
    /opt/module/hadoop-3.3.0/sbin/start-dfs.sh
    jps  #查看每台机器有nameNode和 dataNode
   #在hadoop102:9870可以访问页面
   
   #去103启动resourceManager
     sbin/start-yarn.sh
   jps 
   #yarn也有页面 hadoop103:8088
   
   #102 放文件进去,开始都是空的 utilities -->browse directory
       hadoop fs -mkdir /wcinput
     #往文件夹放文件 放入jdk !!!!岂不是不用腾讯云存储了
       hadoop fs -put wcinput/word.txt /wcinput 
       
    #数据存储在 data/dfs/data/?/current文件夹
       cat blk >> tmp.tar.gz #解压后发现是一个jdk
   #每个节点都有备份
  
   #使用之前的例子,!!!路径必须是hdfs集群的路径
     #看yarn的页面看进度,yarn是处理数据的
    #查看不了文件win的域名没有配置,他是按域名打开文件的,到C:\Windows\System32\drivers\etc\hosts文件
        192.168.10.100 hadoop100
         192.168.10.102 hadoop102
          192.168.10.103 hadoop103
             192.168.10.104 hadoop104
             192.168.10.105 hadoop105
             192.168.10.106 hadoop106
              192.168.10.107 hadoop107
             192.168.10.108 hadoop108
          hadoop jar /opt/module/hadoop-3.3.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount /wcinput /wcoutput

5.集群奔溃

   #kill -9 掉DataNode
    #删掉data数据,删103的data(Manager)
    #格式化数据
    sbin/stop-dfs.sh
    #格式恢复格式,可以启动
 
   #到data 的 vision文件发现namespaceId变化了
   #发现打不开页面,
        1.停止namenode进程 
        2.删除每个集群的data和logs文件夹 
        3.format
          hdfs namenode -format  

6.点hadoop页面的history无法跳转

  #102配置历史服务器 mapred-site.xml增加
   <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

  #分发 
       xsync mapred-site.xml
   #重启yarn  
      sbin/start-yarn.sh
   #启动
    mapred --daemon start historyserver

7.开启日志聚集功能,点history–>logs不能跳转 ,就是把多台服务器的日志汇总一起
#保存时间

 vim yarn-site.xml

<!-- 开启日志聚集功能(日志收集到一台服务器,因为多台服务器会产生日志) -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

#xsync yarn-size.xml
    sbin/stop-yarn.sh
  #重启任意jps的hadoop访问
  mapred --demon stop historyserve 
    start-yarn.sh
     mapred --daemon start historyserver

 jps #查看是否启动

8.启动集群或者单独启动
#集群使用sh脚本
#单独使用

hdfs --demon start/stop namenode/

   #启动停止的yarn  
      yarn --daemon resourcemanager/nodemanger

#常用的脚本,因为启动hdfs yarn和历史服务器比较麻烦
#放到 bin目录 赋权限
---------myhadoop.sh启动和关闭hadoop集群的脚本-----

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.3.0/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.3.0/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.3.0/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.3.0/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.3.0/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.3.0/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac
     

   myhadoop.sh  start
   myhadoop.sh  stop

#写查看所有服务器的jps的脚本
------查看jpsall查看所有节点服务-----

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps
done      

#分发到所有服务器

9.面试题

  hadoop3.x 
                hdfs nameNode 内部端口 8020/9000/9820
                                           对外开发端口 9870
                yarn 查看任务运行情况端口: 8088
                          历史服务器 :19888
  hadoop2.x 
             hdfs nameNode 内部端口 8020/9000
                                           对外开发端口 50070
                yarn 查看任务运行情况端口: 8088
                          历史服务器 :19888

10.常用配置文件

3.x core-site.xml hdfs-site.xml  yarn-site.xml
     mapred-site.xml    workers
2.x core-site.xml hdfs-site.xml  yarn-site.xml
     mapred-site.xml    slaves

11.集群时间同步(时间不同,导致任务执行时间不同)(使用晶振时间同步比较准确,就是自己的时间)(用root用户)
生产环境: 能连外网,不需要同步
不能连接,需要时间同步,挑选一个服务器作为标准

    #必须使用root
  yum -y install ntp
      systemctl status ntpd
       systemctl start ntpd
         systemctl is-enabled ntpd
         systemctl status ntpd

#102配置时间服务 vim /etc/ntp.conf
   restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap
    #把server 0.centos几个注释 不连接外网时间同步
      #server 0.centos.pool.ntp.org iburst
       #server 1.centos.pool.ntp.org iburst
        #server 2.centos.pool.ntp.org iburst
        #server 3.centos.pool.ntp.org iburst
#添加,丢失服务仍然可以用本地时间
    server 127.127.1.0
    fudge 127.127.1.0 stratum 10
#vim /etc/sysconfig/ntpd 让硬件时间和系统时间同步(晶振,比较准确)
   SYNC_HWCLOCK=yes
     #重启服务
    sudo systemctl start ntpd
    sudo systemctl enable ntpd
#设置102为没有外网的103(现在使用的机器) 104同步 linux的定时任务
    sudo crontab -e
   */1 * * * * /usr/sbin/ntpdate hadoop102
 #上面的corn表达式是表示103 104 1分钟和102同步
  
 #修改103时间,参数是否更改
 #!!!记得关闭防火墙,关闭nptd服务,!!!必须其他机器时间小于要同步的机器才能看出效果
 #修改机器的时间
sudo date -s "2021-9-11 11:11:11"
#

12.常见错误

    1.ip主机名ssh没有配置,
    2.root和atguigu直接切换
    3.配置文件
    4.datanode和namenode不能同时使用(datanode宕机了,新启动了另外一个)
    5.删除/tmp 
    6.jps不生效 hadoop java没有生效 需要
        source /etc/profile
    7.删除不生效  core-size.xml 配置账户atguigu可以访问
    8.block size是允许一块最大的空间

            -------HDFS----------     

13.hdfs产生(hadoop distributed file sys)是个文件系统
磁盘也有ntfs
#分布式,一次写入多次读出(写入后不能修改,只能追加)

 优点
      1.高容错性,一个丢失可以自动恢复
      2.可以处理大数据 可处理pb级别, 百万文件
      3.廉价机器上
缺点
      1.不适合低延时的数据访问(毫秒级像mysql做不到)
      2.无法高效存储小文件 内存有限,寻址时间超过读取时间
      3.不支持并发写入 不支持多线程同时写,只能追加append 

14.结构

 1.nameNode 就是master 管理hdfs命名空间 副本策略 数据块映射信息 处理客户端读写请求
 2.datanode slave(实际存储数据,数据读写操作)  
    如图2hdarch
 3.secondary nameNode 秘书,帮助恢复数据,不是namenode的备份 辅助处理文件
 4.client 将文件切分128m 2.x和3.x./64m 1.x 与datanode交互规定是否能对文件增删改查

15.文件块大小
#可以改 在 dhfs-default.xml 的dfs.blocksize
#大厂使用256m(买更好的固体硬盘) 小厂128m(固态100m/s),寻址时间为传输时间的1%为最佳
传输时间 10ms/0.01=1000ms=1s 10ms为寻址时间
#不要太大或太小
16.hdfs的shell操作

  #常用 cat chgrp chmod chown ls mkdir cp df du get getmerge help 
    hadoop fs -mkdir /sanguo
   #上传 从本地移动(本地消失)
    hadoop fs -moveFromLocal ./shuguo.txt /sanguo
  #本地复制到hdfs
     hadoop fs -copyFromLocal ./shuguo.txt /sanguo
   
  #!!!put比copyFromLocal更简洁
     hadoop fs -put ./shuguo.txt /sanguo
  #文本添加到文本后面
     hadoop fs -appendToFile liubei.txt /sanguo.txt
  #常用!!!下载文件!!!必须在有namenode那台机器
    hadoop fs -get /sanguo/shuguo.txt  ./shuguo2.txt
                                     
   #查看文件
    hadoop fs -ls /
     hadoop fs -ls /sanguo
   #查看文件内容
     hadoop fs -cat /sanguo/shuguo.txt
   #在!!!内部操作复制
    hadoop fs -cp /sanguo/sanguo.txt /shuguo
   #内部移动
      hadoop fs -mv /shuguo.txt /sanguo 
   #查看文件尾
     hadoop fs -tail   /sanguo/sg1.txt
   #递归删除,深呼吸3秒
    hadoop fs -rm -r  /shuguo
   #统计文件大小信息 !!用得比较多
       hadoop fs -du -h  /shuguo #详细大小
       hadoop fs -du -h -s  /shuguo  #统计所有大小的和
      #!!!
        第一列表示该目录下总文件大小

        第二列表示该目录下所有文件在集群上的总存储大小
            与你的副本数相关，我的副本数是3 ，
       所以第二列的是第一列的三倍 （第二列内容=文件大小*副本数）

        第三列表示你查询的目录
   #设置副本数量,备份10份,方便以后服务器增加,自动复制
    #界面也可以显示 
    hadoop fs -setrep 10   /shuguo/shuguo.txt