跟着尚硅谷学hadoop（一）

已于 2022-09-29 00:55:48 修改
阅读量948 收藏 9
点赞数 1
文章标签： hadoop 大数据 java
于 2022-09-29 00:54:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/peimina/article/details/127099373
版权

第1章Hadoop3.1.3运行环境搭建

1.1在hadoop102安装jdk1.8

1）卸载现有JDK

注意：安装JDK前，一定确保提前删除了虚拟机自带的JDK。详细步骤见问文档3.1节中卸载JDK步骤。

2）用XShell传输工具将JDK导入到/opt/sofware

3）在Linux系统下的opt目录中查看软件包是否导入成功

[cpm@hadoop102 ~]$ ls /opt/software/

看到如下结果：

jdk-8u212-linux-x64.tar.gz

4）解压JDK到/opt/module目录下

[cpm@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

5）配置JDK环境变量

（1）新建/etc/profile.d/my_env.sh文件

[cpm@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh

添加如下内容

\#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

（2）保存后退出

:wq

（3）source一下/etc/profile文件，让新的环境变量PATH生效

[cpm@hadoop102 ~]$ source /etc/profile

6）测试JDK是否安装成功

[cpm@hadoop102 ~]$ java -version

如果能看到以下结果，则代表Java安装成功。

java version "1.8.0_212"

注意：重启（如果java -version可以用就不用重启）

[cpm@hadoop102 ~]$ sudo reboot

1.2在hadoop102安装Hadoop3.1.3

Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

1）用XShell文件传输工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面

2）进入到Hadoop安装包路径下

[cpm@hadoop102 ~]$ cd /opt/software/

3）解压安装文件到/opt/module下面

[cpm@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

4）查看是否解压成功

[cpm@hadoop102 software]$ ls /opt/module/

hadoop-3.1.3

5）将Hadoop添加到环境变量

（1）获取Hadoop安装路径

[cpm@hadoop102 hadoop-3.1.3]$ pwd

/opt/module/hadoop-3.1.3

（2）打开/etc/profile.d/my_env.sh文件

[cpm@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh

Ø 在my_env.sh文件末尾添加如下内容：（shift+g）

\#HADOOP_HOME 
export HADOOP_HOME=/opt/module/hadoop-3.1.3 
export PATH=$PATH:$HADOOP_HOME/bin 
export PATH=$PATH:$HADOOP_HOME/sbin

Ø 保存并退出： :wq

（3）让修改后的文件生效

[cpm@hadoop102 hadoop-3.1.3]$ source /etc/profile

6）测试是否安装成功

[cpm@hadoop102 hadoop-3.1.3]$ hadoop version

Hadoop 3.1.3

7）重启（如果Hadoop命令不能用再重启虚拟机）

[cpm@hadoop102 hadoop-3.1.3]$ sudo reboot

1.3Hadoop目录结构

1）查看Hadoop目录结构

[cpm@hadoop102 hadoop-3.1.3]$ ll

总用量 52

drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 bin

drwxr-xr-x. 3 atguigu atguigu 4096 5月 22 2017 etc

drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 include

drwxr-xr-x. 3 atguigu atguigu 4096 5月 22 2017 lib

drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 libexec

-rw-r--r--. 1 atguigu atguigu 15429 5月 22 2017 LICENSE.txt

-rw-r--r--. 1 atguigu atguigu 101 5月 22 2017 NOTICE.txt

-rw-r--r--. 1 atguigu atguigu 1366 5月 22 2017 README.txt

drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 sbin

drwxr-xr-x. 4 atguigu atguigu 4096 5月 22 2017 share

2）重要目录

（1）bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本

（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件

（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）

（4）sbin目录：存放启动或停止Hadoop相关服务的脚本

（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

第2章Hadoop运行模式

1）Hadoop官方网站：Apache Hadoop

2）Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。

Ø 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。

Ø 伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。

Ø 完全分布式模式：多台服务器组成分布式环境。生产环境使用。

2.1 本地运行模式（官方WordCount）

1）在hadoop-3.1.3文件下面创建一个wcinput文件夹

[cpm@hadoop102 hadoop-3.1.3]$ mkdir wcinput

2）在wcinput文件下创建一个word.txt文件

[cpm@hadoop102 hadoop-3.1.3]$ cd wcinput

3）编辑word.txt文件

[atguigu@hadoop102 wcinput]$ vim word.txt

Ø 在文件中输入如下内容

hadoop yarn 
hadoop mapreduce 
atguigu atguigu

Ø 保存退出：:wq

4）回到Hadoop目录/opt/module/hadoop-3.1.3

5）执行程序

[cpm@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

6）查看结果

[cpm@hadoop102 hadoop-3.1.3]$ cat wcoutput/part-r-00000

看到如下结果：

atguigu 2

hadoop  2

mapreduce    1

yarn   1

2.2 完全分布式运行模式（开发重点）

2.2.1虚拟机准备

2.2.2编写集群分发脚本xsync（hadoop103/104安装jdk和hadoop）

把文件改成可执行文件就会变成绿色

scp（secure copy）安全拷贝

（1）scp定义

scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

（2）基本语法

scp -r $pdir/$fname $user@$host:$pdir/$fname

命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称

（3）案例实操

前提：在hadoop102、hadoop103、hadoop104都已经创建好的/opt/module、

（a）将hadoop102中/opt/module/jdk1.8.0_212目录拷贝到hadoop103上。

scp -r /opt/module/jdk1.8.0_212/ cpm@hadoop103:/opt/module/

（b）从hadoop103拷贝hadoop102的文件

scp -r cpm@hadoop102:/opt/module/hadoop-3.1.3 ./

（c）在hadoop103将hadoop102的数据拷贝到hadoop104

scp -r cpm@hadoop102:/opt/module/* cpm@hadoop104:/opt/module/

rsync

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。通过rsync实现同步数据

第一次同步相当于拷贝

（1）基本语法

rsync -av $pdir/$fname $user@$host:$pdir/$fname

命令 选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称

选项参数说明

选项功能
-a归档拷贝
-v显示复制过程

（2）案例实操

（a）同步hadoop102中的/opt/module/hadoop-3.1.3到hadoop103

rsync -av hadoop-3.1.3/ cpm@hadoop103:/opt/module/hadoop-3.1.3/

xsync集群分发脚本

（1）需求：循环复制文件到所有节点的相同目录下

（2）需求分析：

（a）rsync命令原始拷贝：

rsync  -av   /opt/module     cpm@hadoop103:/opt/

（b）期望脚本：

xsync要同步的文件名称

（c）期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）

[cpm@hadoop102 ~]$ echo $PATH
/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/cpm/.local/bin:/home/cpm/bin:/opt/module/jdk1.8.0_212/bin

（3）脚本实现

（a）在/home/cpm/bin目录下创建xsync文件

[cpm@hadoop102 opt]$ cd /home/cpm
[cpm@hadoop102 ~]$ mkdir bin
[cpm@hadoop102 ~]$ cd bin
[cpm@hadoop102 bin]$ vim xsync
#!/bin/bash
​
#1.判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi
​
#2.便利集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================== $host =======================
    #3.遍历所有目录，挨个发送
    for file in $@
    do
        #4.判断文件是否存在
        if [ -e $file ]
            then
                #5.获取父目录
                pdir=$(cd -P $(dirname $file); pwd)
                #6.获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done
​

（b）修改脚本 xsync 具有执行权限

[cpm@hadoop102 bin]$ chmod +x xsync

（c）测试脚本

[cpm@hadoop102 ~]$ xsync /home/cpm/bin

（d）将脚本复制到/bin中，以便全局调用

[cpm@hadoop102 bin]$ sudo cp xsync /bin/

（e）同步环境变量配置（root所有者）

[cpm@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh

注意：如果用了sudo，那么xsync一定要给它的路径补全。

让环境变量生效

[cpm@hadoop103 bin]$ source /etc/profile
[cpm@hadoop104 opt]$ source /etc/profile

2.2.3SSH无密登录配置

1）配置ssh

（1）基本语法

ssh另一台电脑的IP地址

（2）ssh连接时出现Host key verification failed的解决方法

[cpm@hadoop102 ~]$ ssh hadoop103

Ø 如果出现如下内容

Are you sure you want to continue connecting (yes/no)?

Ø 输入yes，并回车

（3）退回到hadoop102

[cpm@hadoop103 ~]$ exit

2）无密钥配置

（1）免密登录原理

（2）生成公钥和私钥

[cpm@hadoop102 .ssh]$ pwd

/home/cpm/.ssh

[cpm@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

（3）将公钥拷贝到要免密登录的目标机器上

[cpm@hadoop102 .ssh]$ ssh-copy-id hadoop102
[cpm@hadoop102 .ssh]$ ssh-copy-id hadoop103
[cpm@hadoop102 .ssh]$ ssh-copy-id hadoop104

注意：

还需要在hadoop103上采用atguigu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

还需要在hadoop104上采用atguigu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

还需要在hadoop102上采用root账号，配置一下无密登录到hadoop102、hadoop103、hadoop104；

3）.ssh文件夹下（~/.ssh）的文件功能解释

known_hosts记录ssh访问过计算机的公钥（public key）
id_rsa生成的私钥
id_rsa.pub生成的公钥
authorized_keys存放授权过的无密登录服务器公钥

2.2.4集群配置

1）集群部署规划

注意：

Ø NameNode和SecondaryNameNode不要安装在同一台服务器

Ø ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

hadoop102hadoop103hadoop104
HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNode
YARNNodeManagerResourceManagerNodeManagerNodeManager

2）配置文件说明

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

（1）默认配置文件：

要获取的默认文件文件存放在Hadoop的jar包中的位置
[core-default.xml]hadoop-common-3.1.3.jar/core-default.xml
[hdfs-default.xml]hadoop-hdfs-3.1.3.jar/hdfs-default.xml
[yarn-default.xml]hadoop-yarn-common-3.1.3.jar/yarn-default.xml
[mapred-default.xml]hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

（2）自定义配置文件：

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。

3）配置集群

（1）核心配置文件

配置core-site.xml

[cpm@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[cpm@hadoop102 hadoop]$ vim core-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <!-- 指定NameNode的地址 -->
  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://hadoop102:8020</value>
  </property>
  <!-- 指定hadoop数据的存储目录 -->
  <property>
     <name>hadoop.tmp.dir</name>
     <value>/opt/module/hadoop-3.1.3/data</value>
  </property>
  <!-- 配置HDFS网页登录使用的静态用户为atguigu -->
  <property>
     <name>hadoop.http.staticuser.user</name>
     <value>cpm</value>
  </property>
</configuration>

（2）HDFS配置文件

配置hdfs-site.xml

[cpm@hadoop102 hadoop]$ vim hdfs-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
<configuration>
     <!-- nn web端访问地址-->
     <property>
     <name>dfs.namenode.http-address</name>
     <value>hadoop102:9870</value>
  </property>
     <!-- 2nn web端访问地址-->
  <property>
     <name>dfs.namenode.secondary.http-address</name>
     <value>hadoop104:9868</value>
  </property>
</configuration>

（3）YARN配置文件

配置yarn-site.xml

[cpm@hadoop102 hadoop]$ vim yarn-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <!-- 指定MR走shuffle -->
  <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
  </property>
  <!-- 指定ResourceManager的地址-->
  <property>
     <name>yarn.resourcemanager.hostname</name>
     <value>hadoop103</value>
  </property>
  <!-- 环境变量的继承 -->
  <property>
     <name>yarn.nodemanager.env-whitelist</name>    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  </property>
</configuration>

（4）MapReduce配置文件

配置mapred-site.xml

[cpm@hadoop102 hadoop]$ vim mapred-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
<configuration>
     <!-- 指定MapReduce程序运行在Yarn上 -->
  <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
  </property>
</configuration>

4）在集群上分发配置好的Hadoop配置文件

[cpm@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/

5）去103和104上查看文件分发情况

[cpm@hadoop103 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml
[cpm@hadoop104 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

2.2.5集群崩溃处理方法

1.在hadoop102先杀死进程

sbin/stop-dfs.sh

2.在hadoop102/103/104删除data和logs

rm -rf data/ logs/

3.重新格式化

hdfs namenode -format

4.启动集群

sbin/start-dfs.sh

2.2.6群起集群

1）配置workers

[cpm@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中增加如下内容：

hadoop102

hadoop103

hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

同步所有节点配置文件

[cpm@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc

2）启动集群

（1）如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）

[cpm@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

（2）启动HDFS

[cpm@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

（3）在配置了ResourceManager的节点（hadoop103）启动YARN

[cpm@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

（4）Web端查看HDFS的NameNode

（a）浏览器中输入：http://hadoop102:9870

（b）查看HDFS上存储的数据信息

（5）Web端查看YARN的ResourceManager

（a）浏览器中输入：http://hadoop103:8088

（b）查看YARN上运行的Job信息

3）集群基本测试

（1）上传文件到集群

Ø 上传小文件

[cpm@hadoop102 ~]$ hadoop fs -mkdir /input
[cpm@hadoop102 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input

Ø 上传大文件

[cpm@hadoop102 ~]$ hadoop fs -put  /opt/software/jdk-8u212-linux-x64.tar.gz  /

（2）上传文件后查看文件存放在什么位置

Ø 查看HDFS文件存储路径

[cpm@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1436128598-192.168.10.102-1610603650062/current/finalized/subdir0/subdir0

Ø 查看HDFS在磁盘存储文件内容

[cpm@hadoop102 subdir0]$ cat blk_1073741825

hadoop yarn

hadoop mapreduce

atguigu

atguigu

（3）拼接

-rw-rw-r--. 1 atguigu atguigu 134217728 5月 23 16:01 blk_1073741836

-rw-rw-r--. 1 atguigu atguigu 1048583 5月 23 16:01 blk_1073741836_1012.meta

-rw-rw-r--. 1 atguigu atguigu 63439959 5月 23 16:01 blk_1073741837

-rw-rw-r--. 1 atguigu atguigu 495635 5月 23 16:01 blk_1073741837_1013.meta

[cpm@hadoop102 subdir0]$ cat blk_1073741836>>tmp.tar.gz
[cpm@hadoop102 subdir0]$ cat blk_1073741837>>tmp.tar.gz
[cpm@hadoop102 subdir0]$ tar -zxvf tmp.tar.gz

（4）下载

[cpm@hadoop104 software]$ hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./

（5）执行wordcount程序

[cpm@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

2.2.7配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

1）配置mapred-site.xml

[cpm@hadoop102 hadoop]$ vim mapred-site.xml

在该文件里面增加如下配置。

<!-- 历史服务器端地址 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>hadoop102:10020</value>
</property> 
<!-- 历史服务器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>hadoop102:19888</value>
</property>

2）分发配置

[cpm@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

3）在hadoop102启动历史服务器

[cpm@hadoop102 hadoop]$ mapred --daemon start historyserver

4）查看历史服务器是否启动

[cpm@hadoop102 hadoop]$ jps

5）查看JobHistory

http://hadoop102:19888/jobhistory

2.2.8配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

 日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。

开启日志聚集功能具体步骤如下：

1）配置yarn-site.xml

[cpm@hadoop102 hadoop]$ vim yarn-site.xml

在该文件里面增加如下配置。

<!-- 开启日志聚集功能 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
  <name>yarn.log.server.url</name>  
  <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>

2）分发配置

[cpm@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

3）关闭NodeManager 、ResourceManager和HistoryServer

[cpm@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[cpm@hadoop103 hadoop-3.1.3]$ mapred --daemon stop historyserver

4）启动NodeManager 、ResourceManage和HistoryServer

[cpm@hadoop103 ~]$ start-yarn.sh
[cpm@hadoop102 ~]$ mapred --daemon start historyserver

5）删除HDFS上已经存在的输出文件

[cpm@hadoop102 ~]$ hadoop fs -rm -r /output

6）执行WordCount程序

[cpm@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

7）查看日志

（1）历史服务器地址

http://hadoop102:19888/jobhistory

（2）历史任务列表

 （3）查看任务运行日志

 （4）运行日志详情

单节点停止功能

mapred --daemon stop historyserver

2.2.9集群启动/停止方式总结

1)各个模块分开启动/停止（配置ssh是前提）常用

（1）整体启动/停止HDFS

start-dfs.sh/stop-dfs.sh

（2）整体启动/停止YARN

start-yarn.sh/stop-yarn.sh

2）各个服务组件逐一启动/停止

（1）分别启动/停止HDFS组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

（2）启动/停止YARN

yarn --daemon start/stop  resourcemanager/nodemanager

3）全部一起启动

myhadoop.sh start/stop

2.2.10编写Hadoop集群常用脚本

1）Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver）：myhadoop.sh

[cpm@hadoop102 ~]$ cd /home/atguigu/bin
[cpm@hadoop102 bin]$ vim myhadoop.sh

Ø 输入如下内容

\#!/bin/bash
if [ $# -lt 1 ]
then
  echo "No Args Input..."
  exit ;
fi
case $1 in
"start")
     echo " =================== 启动 hadoop集群 ==================="
     echo " --------------- 启动 hdfs ---------------"
     ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
     echo " --------------- 启动 yarn ---------------"
     ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
     echo " --------------- 启动 historyserver ---------------"
     ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
     echo " =================== 关闭 hadoop集群 ==================="
     echo " --------------- 关闭 historyserver ---------------"
     ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
     echo " --------------- 关闭 yarn ---------------"
     ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
     echo " --------------- 关闭 hdfs ---------------"
     ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
  echo "Input Args Error..."
;;
esac

Ø 保存后退出，然后赋予脚本执行权限

[cpm@hadoop102 bin]$ chmod +x myhadoop.sh

2）查看三台服务器Java进程脚本：jpsall

[cpm@hadoop102 ~]$ cd /home/atguigu/bin
[cpm@hadoop102 bin]$ vim jpsall

Ø 输入如下内容

\#!/bin/bash
for host in hadoop102 hadoop103 hadoop104
do
     echo =============== $host ===============
     ssh $host jps 
done

Ø 保存后退出，然后赋予脚本执行权限

[cpm@hadoop102 bin]$ chmod +x jpsall

3）分发/home/atguigu/bin目录，保证自定义脚本在三台机器上都可以使用

[cpm@hadoop102 ~]$ xsync /home/atguigu/bin/

2.2.11常用端口号

hadoop3.x

HDFS NameNode 内部通常端口： 8020/9000/9820

HDFS NameNode 对用户的查询端口：9870

Yarn查看任务运行情况：8088

历史服务器：19888

hadoop2.x

HDFS NameNode 内部通常端口： 8020/9000

HDFS NameNode 对用户的查询端口：50070

Yarn查看任务运行情况：8088

历史服务器：19888

常用配置文件

3.x core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml workers

2.x core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml slaves

第3章常见错误及解决方案

1）防火墙没关闭、或者没有启动YARN

INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

2）主机名称配置错误

3）IP地址配置错误

4）ssh没有配置好

5）root用户和atguigu两个用户启动集群不统一

6）配置文件修改不细心

7）不识别主机名称

java.net.UnknownHostException: hadoop102: hadoop102

at java.net.InetAddress.getLocalHost(InetAddress.java:1475)

at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146)

at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)

at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)

at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Subject.java:415)

解决办法：

（1）在/etc/hosts文件中添加192.168.10.102 hadoop102

（2）主机名称不要起hadoop hadoop000等特殊名称

8）DataNode和NameNode进程同时只能工作一个。

9）执行命令不生效，粘贴Word中命令时，遇到-和长–没区分开。导致命令失效

解决办法：尽量不要粘贴Word中代码。

10）jps发现进程已经没有，但是重新启动集群，提示进程已经开启。

原因是在Linux的根目录下/tmp目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。

11）jps不生效

原因：全局变量hadoop java没有生效。解决办法：需要source /etc/profile文件。

12）8088端口连接不上

[atguigu@hadoop102 桌面]$ cat /etc/hosts

注释掉如下代码

#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

#::1 hadoop102

逗×
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Hadoop运行模式：完全分布式运行模式（虚拟机准备、 编写集群分发脚本xsync、SSH无密登录配置、集群配置、群起集群、 配置历史服务器、配置日志的聚集、集群启动/停止方式总结、编写Hadoop）
weixin_44216665的博客
08-09 689
虚拟机准备、 编写集群分发脚本xsync、SSH无密登录配置、集群配置、群起集群、 配置历史服务器、配置日志的聚集、集群启动/停止方式总结、编写Hadoop集群常用脚本、 常用端口号、集群时间同步...
尚硅谷hadoop-3.8-HDFS命令行操作
qq_34755941的博客
07-25 246
前提条件：开启集群，jps查看是否开启成功 1.查看ls的帮助文档 hadoop fs -help ls 2.查看文件目录信息 hadoop fs ls 3.在hdfs上创建目录 hadoop fs mkdir /user/linuxprobe/output 4.把本地的数据剪切到HDFS上 hadoop fs -moveFromLocal xiaoxiong.txt /use...
Hadoop学习-编写集群分发脚本、配置SSH免密登入
HaveAGoodDay428的博客
02-16 210
SSH免密登入，xsync,hadoop，scp
【Hadoop集群搭建】集群崩溃处理及启动时常见报错解决办法
最新发布
布丁椰奶冻的博客
06-20 617
1. 集群崩溃处理 1.1 杀死进程 1.2删除目录（logs/和hadoopdata/） 1.3重新初始化集群 1.4重新启动集群 2. 启动时常见报错 在运行程序测试 MapReduce 计算框架时报错如下
hadoop学习之虚拟机之间的文本传输（集群分发脚本xsync）
xwynefu的博客
03-26 527
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
尚硅谷大数据之Hadoop入门
11-29
尚硅谷大数据之Hadoop入门，Hadoop是目前大数据领域的流行框架，用java编写，运行在Linux集群上，这篇笔记关于Hadoop做了详细的介绍，并且还讲解了如何搭建Hadoop本地模式，伪分布模式和完全分布式模式
hadoop学习之路笔记三
qq_29936607的博客
03-09 2504
新手学习三台腾讯云服务器搭建hadoop之不归路
尚硅谷离线数仓5.0项目个人完成经历与心得
bald__man的博客
05-09 1932
但是也碰到了几个问题，比如手动编写的分发脚本xsync不是要放在atguigu的bin文件夹下嘛，但是我的atguigu/bin不是全局变量，我也不知道为啥，我怀疑是一开始给atguigu用户权限的操作出了问题，然后我就用了老师给的样板机hadoop100。整体都是环境的搭建，因为hadoop，flume，kafka啥的都搭建了好多次了，没啥难度，视频1.5倍速就当复习了一遍。如果你格式化出问题了，需要把hadoop文件夹里的data文件夹和logs文件夹删掉，然后再去修改问题，然后再格式化。
【Docker x Hadoop】使用 Docker 搭建 Hadoop 集群（从零开始保姆级）
Ice__Clean的博客
10-03 2467
—— 步骤 ——0. 背景1. 创建出第一个容器2. 为该容器配置 java 和 hadoop 环境3. 配置允许外界通过 ssh 连接容器4. 由该容器克隆出多个容器5. 为各个容器配置 ssh 免密登录6. 开始编写集群配置7. 启动集群 0. 背景 看到网上的教程，都是使用虚拟机克隆出多台虚拟机模拟集群 但在真正的服务器上，发现这种方法行不通了 这时候就想起 Docker 了，仔细想象 Docker 学完到现在还没真正实战过，这次正好是一个好机会 实现思路也很简单，在 Docker 中创建多个 Ce
大数据系统开发实践项目——安装完全分布式Hadoop集群并利用MapReduce实现倒排索引（北理工大三小学期）
2301_79058506的博客
04-28 837
接着，在倒排索引的构建过程中，再次运用MapReduce任务，应用TF-IDF算法，将词项映射到包含它的文档，并记录词项在文档中的位置信息，以计算每个词项的在文档中的重要性，确保了对文档的全面索引，为后续的搜索排序提供基础。Reduce阶段首先以键值对形式接收来自Map部分的输出，其中键为词项，值为文档ID和文档内容的列表，然后针对相同的词项，将它们对应的文档ID和文档内容列表合并，形成倒排索引的条目，最后生成输出最终的键值对，其中键为词项，值为包含该词项的文档ID和位置信息。
Java 学习路线大全，再也不用迷路啦（持续更新）
腾讯全栈-ITCJF
10-14 2731
路线特点 最新，完整一条龙，从入门到入土（⭐ 表示推荐学习） 给出目标、学习建议、关键知识点、最优资源以及各类资源推荐（视频、书籍、文档、项目、工具等） 划分阶段、更有计划，且在最后给出持续学习的方向、探索 Java 程序员发展的无限可能 前言 首先呢，我们要了解 Java 的应用场景和就业方向，看看和自己的学习目的是否一致，目前，Java 的岗位需求多，是后台开发的主流编程语言，功能强大，还是很值得学习的。 阶段 1：Java 入门 目标 培养兴趣、快速上手 前期准备 准备好一款在线、随时随地
Hadoop 创建文件并写入数据
QQ331948781的专栏
04-05 3420
import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; pu
hadoop学习之在HDFS中创建文件并写入内容
小小海豚呀
04-25 4202
参考书籍：《Hadoop大数据技术开发实战》 public class File { public static void CreateFile() throws Exception { Configuration conf = new Configuration(); conf.set("fs.defaultFS","hdfs://centos01:9000"); //Confi...
搭建Hadoop完全分布式集群（三台虚拟机）
weixin_55527323的博客
06-15 6820
无冗余步骤搭建hadoop集群，看这一篇就够了。
Hadoop编程在HDFS里新建文件并写入内容，以及输出
birdfly_的博客
03-13 4082
Hadoop编程在HDFS里新建文件并写入内容，以及输出。package zq; import java.io.IOException; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSystem;i
大数据（hadoop分布式搭建--尚硅谷）手把手教学
qq_43774324的博客
05-28 3757
二 Hadoop 运行环境搭建 1.创建虚拟机，创建名称为hadoop100 ![在这里插入图片描述](https://img-blog.csdnimg.cn/e89556e0b9b54d9fa3f25dea18873db2.png 2.配置三处网络环境 （1） 点击编辑—>虚拟网络编辑器，进行网络编辑，点击更改配置 将VMnet8网络模式改为NET模式，并且将子网IP地址配置为192.168.10.0，将子网掩码设置为：255.255.255.0 （2） 更改本机的ip地址配置 在设置中选
Hadoop HDFS创建文件/写数据流程、源码详细解析
enviable的博客
11-26 5956
HDFS创建文件/写数据源码解析HDFSHDFS写流程创建文件源码客户端DistributedFileSystemDFSClientDFSOutputStream客户端/Namenode协议DataStreamer租约LeaseRenewerNameNodeFSNamesystemFSDirWriteFileOp写数据客户端FSOutputSummerDFSOutputStreamDataStreamer创建block建立数据管道initDataStreaming();response.start();Na
Hadoop 写文件
qq_38361726的博客
06-29 847
HDFS - 写文件 1.客户端将文件写入本地磁盘的HDFS Client文件中 2.当临时文件大小达到一个block大小时，HDFS client通知NameNode，申请写入文件 3.NameNode在HDFS的文件系统中创建一个文件，并把该block id和要写入的DataNode的列表返回给客户端 4.客户端收到这些信息后，将临时文件写入DataNodes 4.1 客户端将文件内容写入第一个DataNode（一般以4kb为单位进行传输） 4.2 第一个DataNode接收后，将数据写
Hadoop 文件写流程
qq_30130043的博客
05-24 271
1）流程图    2）流程解读    1. 客户端执行命令（或者代码读取），调用的是dfs的create的方法，输入的是要上传的文件目录    2. NN会验证这个目录是否存在和是否有权限去创建。    3. 校验完成后，NN会创建一个空文件，还没有数据流和block映射关系，返回给一个FSDataOutputStream的对象    4. 客户端调用write方法，将数据流一个一个块地写入   ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值