Hadoop（二）

最新推荐文章于 2022-10-27 13:47:28 发布
最新推荐文章于 2022-10-27 13:47:28 发布
阅读量723 收藏
点赞数 3
文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_63816398/article/details/125959548
版权

 

目录

编写集群分发脚本xsync 

Hadoop部署

配置集群

配置历史服务器

配置日志的聚集

群起集群

Hadoop群起脚本

编写集群分发脚本xsync 

需求：循环复制文件到所有节点的相同目录下

1

脚本实现

1.在用的家目录/home/atguigu下创建bin文件夹 

2.在/home/atguigu/bin目录下创建xsync文件，以便全局调用

3.修改脚本xsync执行权限

4.测试分发脚本到hadoop103 hadoop104

[atguigu@hadoop102 ~]$ mkdir bin
[atguigu@hadoop102 ~]$ cd /home/atguigu/bin
[atguigu@hadoop102 ~]$ vim xsync

在文件中编写如下代码

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
  echo ====================  $host  ====================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done
[atguigu@hadoop102 bin]$ chmod 777 xsync

[atguigu@hadoop102 bin]$ xsync xsync

Hadoop部署

1）集群部署规划

注意：NameNode和Secondary 不要安装在同一台服务器

注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNode配置在同一台机器上

 2）用XShell工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面

直接将hadoop-3.1.3.tar.gz拖拽到XShall里面即可

3）进入到Hadoop安装包路径下

4）解压安装文件到/opt/module下面

[atguigu@hadoop102 ~]$ cd /opt/software/
[atguigu@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
[atguigu@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3

6）将Hadoop添加到环境变量

(1) 获取Hadoop安装路径

(2)打开/etc/profile.d/my_env.sh文件

[atguigu@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
[atguigu@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh

(3)在profile文件末尾添加JDK路径：shitf+g 

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

(4)分发环境变量文件

[atguigu@hadoop102 hadoop-3.1.3]$ sudo /home/atguigu/bin/xsync /etc/profile.d/my_env.sh

(5)source一下，使之生效（3台节点）

[atguigu@hadoop102 module]$ source /etc/profile.d/my_env.sh
[atguigu@hadoop103 module]$ source /etc/profile.d/my_env.sh
[atguigu@hadoop104 module]$ source /etc/profile.d/my_env.sh

配置集群

1）核心配置文件  配置core-site.xml 

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[atguigu@hadoop102 hadoop]$ vim core-site.xml

文件内容如下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
</property>
<!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
</property>

<!-- 配置HDFS网页登录使用的静态用户为atguigu -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>atguigu</value>
</property>

<!-- 配置该atguigu(superUser)允许通过代理访问的主机节点 -->
    <property>
        <name>hadoop.proxyuser.atguigu.hosts</name>
        <value>*</value>
</property>
<!-- 配置该atguigu(superUser)允许通过代理用户所属组 -->
    <property>
        <name>hadoop.proxyuser.atguigu.groups</name>
        <value>*</value>
</property>
<!-- 配置该atguigu(superUser)允许通过代理的用户-->
    <property>
        <name>hadoop.proxyuser.atguigu.users</name>
        <value>*</value>
</property>
</configuration>

2）HDFS配置文件  hdfs-site.xml

[atguigu@hadoop102 hadoop]$ vim hdfs-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
    
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
    
    <!-- 测试环境指定HDFS副本的数量1 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3）YARN配置文件 配置yarn-site.xml

[atguigu@hadoop102 hadoop]$ vim yarn-site.xm

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>
    
    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    
    <!-- yarn容器允许分配的最大最小内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
    
    <!-- yarn容器允许管理的物理内存大小 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    
    <!-- 关闭yarn对虚拟内存的限制检查 -->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

4）MapReduce配置文件  配置mapred-site.xml 

[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

5)配置workers 

[atguigu@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

#在该文件中增加如下内容
hadoop102
hadoop103
hadoop104

#注意：该文件中添加内容结尾不允许有空格，文件中不允许有空行

配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

1)配置mapred-site.xml  在该文件里面增加如下配置

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

1）配置yarn-site.xml   在该文件增加如下配置

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>

<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

2）分发Hadoop

[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/

群起集群

1）启动集群 

     （1)如果是集群是第一次启动，需要在hadoop102节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）

       (2) 启动HDFS

       (3)在配置了ResourceManager的节点（hadoop103)启动YARN 

        (4)Web端查看HDFS的Web页面：http://hadoop102:9870/

[atguigu@hadoop102 hadoop-3.1.3]$ bin/hdfs namenode -format
[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

这边遇上一个问题，执行的时候遇上报错为hadoop103连接不上，原因后面发现是防火墙没关闭。

Hadoop群起脚本

1)来到/home/atguigu/bin目录   编辑脚本vim  hdp.sh

#!/bin/bash
if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi
case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

3）修改脚本执行权限

[atguigu@hadoop102 bin]$ chmod 777 hdp.sh

AC.WJH
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Hadoop集群环境配置及安装配置（详细过程包含安装包）_hadoop安装与配置
2401_84181501的博客
05-06 663
如果无法修改请看另外一篇文章修改每台节点的hosts文件命令为sudo vim /etc/hosts ，依次添加node1，node2，node3。
hadoop安装以及配置
不止思考
05-14 1481
hadoop: 单机模式 伪分布模式 集群模式 ========================================================================== 单机模式（开发测试模式，hadoop将以java进程形式运行） ===========================================================
10.3 hadoop环境设置、地址配置、内存配置、守护进程设置。配置文件设置
baochunlei1的博客
03-01 984
1.1 hadoop配置 hadoop配置文件在安装包的etc/hadoop目录下，但是为了方便升级，配置不被覆盖一般放在其他地方，并用环境变量HADOOP_CONF_DIR指定目录。 1.1.1 配置管理 集群中每个节点都维护一套配置文件，并由管理员完成文件的同步工作。集群管理工具Cloudera Manage和Apache Ambari可以在集群...
hadoop-conf里面的配置文件
01-17
hadoop conf里面文件配置
Hadoop2的ResourceManager高可用配置
weixin_34224941的博客
06-06 176
Hadoop 2.2没怎么关注过，太新，bug太多。2.4出来以后关注了一些东西，比如2.4里面直接带了ResourceManager的高可用，这点比较吸引人。之前2.2没注意有没有，貌似是没有，然后CDH自己出了一个解决方案，这次2.4的更新直接自己带了，还不错，这样就全了，Namenode有HA和Federation，RM也有了HA，而且也可以通过ZKFC自动做故障切换。大概从2.4开始，Ha...
hadoop-Configuration的配置
DCHAO的博客
05-27 243
_SUCCESS conf.set("mapreduce.fileoutputcommitter.marksuccessfuljobs","false"); 亲测
mahout安装配置，运行kmeans算法，bin/mahout -help出现MAHOUT_LOCAL is not set; adding HADOOP_CONF_DIR to classpath
haibinCastle inner peace
07-23 4530
让Mahout KMeans聚类分析运行在Hadoop上 这篇文章写的真是太好了，对于我这种初学mahout的菜鸟来说，原文地址：http://yoyzhou.github.io/blog/2013/06/04/mahout-clustering-with-hadoop/ 上一篇文章“Mahout与聚类分析”介绍了如何使用Mahout进行聚类分析的步骤，并且结合实例使用K-Means对
hadoop 二次排序 原理
03-19
Hadoop 大数据方向 mapreduce计算中的二次排序，讲解透彻
Hadoop二次开发必懂
03-01
在分析Hadoop的MapReduce部分前，我们还是先了解系统是如何工作的，然后再进入我们的分析部分。下面的图来是我看到的讲MapReduce最好的图。以Hadoop带的wordcount为例子（下面是启动行）：用户提交一个任务以后，该...
Hadoop二次开发必懂（下）
03-01
Map的结果，会通过partition分发到Reducer上，Reducer做完Reduce操作后，通过OutputFormat，进行输出，下面我们就来分析参与这个过程的类。Mapper的结果，可能送到可能的Combiner做合并，Combiner在系统中并没有自己...
Hadoop二进制安装包稳定版本
04-13
标题中的“Hadoop二进制安装包稳定版本”指的是一个预编译的、经过测试的Hadoop软件包，确保了在不同环境下的稳定性和兼容性。这种稳定版本通常经过社区广泛的测试和调试，减少了潜在的bug和性能问题，适合在生产...
Yarn ResourceManager HA配置
03-14
Yarn ResourceManager HA配置，Yarn ResourceManager HA配置
Hadoop Yarn-ResourceManager HA搭建
sinat_35400668的博客
03-24 263
文章目录1. 配置文件mapred-site.xmlyarn-site.xml2. 启动3. 运行自带wordcount4. 停止 模拟环境：四台虚拟机node1、node2、node3、node4 node1 node2 node3 node4 NameNode-1 NameNode-2 DataNode-1 DataNode-2 DataNode-3 Zookeeper-1 Zookeeper-2 Zookeeper-3 zkfc-1 zkfc-2 Jour
【Hadoop】35-Hadoop配置
通往神秘的道路的专栏
08-27 1125
有多个配置文件适用于Hadoop安装，表10-1列举了最重要的几个文件。 这几个重要文件都放在Hadoop分发包的/etc/hadoop目录中。配置目录可以被重新安置在文件系统的其他地方（Hadoop安装路径的外面，以便于升级），只要启动守护进程时使用--config选项（或等价的，使用HADOOP_CONF_DIR环境变量集）说明这个目录在本地文件系统的位置就可以了。 Hadoop配置文件 ...
Hadoop集群配置2
最新发布
m0_73706260的博客
10-27 3426
本章节讲对Hadoop安装后的一些基本配置，对于slave1和slave2的分发和使用！
Hadoop集群配置：启动hadoop出现没有resourcemanager
hjseo_seg的博客
03-25 2792
Hadoop集群配置：启动hadoop出现没有resourcemanager 首先要格式化一下 bin/hadoop namenode -format 格式化以后 启动Hadoop 启动完后用jps查看 发现没有resourcemanager这一项 于是打开logs 于是打开 hadoop-2.8.2/etc/hadoop目录下的yarn-site.xml 将其中的h.ostname改为address 成功解决 总结L: xml里是根据name找value的 name不对它找不到有效的value值
Hadoop ResourceManager:
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
05-25 528
负责全局的资源管理和任务调度，把整个集群当作计算资源池，只关注分配，不管应用，且不负责容错 资源管理： 1.以前资源是每个节点分成一个个的Mapslot和Reduce slot，现在是一个个Container,每个Container可以根据需要运行APPlicatioonMaster,Map,Reduce或者任意的程序 2.以前的资源分配是静态的，目前是动态的，资源利用率更高 3.Container是资源申请的单位，一个资源申请格式<resource-name, priority, resource-
集群Linux各个节点的配置------Hadoop环境配置
09-06 1275
2个env文件：hadoop-env.sh,yarn-env.sh 4个site文件:core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml 具体配置我们来看看官网：http://hadoop.apache.org/ 可以按这里的步骤操作 前面我们都安装好了 在hadoop-env.sh中加入JAVA_HOME环境变量 路径根据自己之前安装JAVA的进行设置 使用vi hadoop...
hadoop核心配置文件
二十一克阳光！的博客
05-06 1394
集群部署规划 配置 core-site.xml cd $HADOOP_HOME/etc/hadoop vim core-site.xml 添加内容 <configuration> <!-- 指定 NameNode 的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop102:8020</value> </property>

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值