Hadoop集群搭建分布式

已于 2022-06-01 16:32:13 修改
阅读量336 收藏 1
点赞数
分类专栏： Hadoop Atlas 文章标签： hadoop 分布式 linux
于 2022-06-01 16:15:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36712507/article/details/125085438
版权

Hadoop集群搭建

基础信息

系统初始化

vm创建虚拟机，使用CentOS7做镜像

集群配置
linux服务器名称hadoop01 [192.168.3.201]hadoop02 [192.168.3.201]hadoop03 [192.168.3.201]
hadoop3.2.2namenode:9870namenode:9868
hadoop3.2.2datanodedatanodedatanode
hadoop3.2.2resourcemanager
hadoop3.2.2jobhistory:19888
mysql5.7mysql
hive3.1.2hive:10000
zookeeper3.7.0√√√
服务器目录配置
linux路径地址路径注释
/opt/soft安装包
/opt/apps安装目录
/opt/data数据保存目录
/opt/logs日志保存目录
~/bin自动化脚本文件夹
WEB监控地址
项目名称路径
hadoophttp://hadoop01:9870/dfshealth.html#tab-overview
yarn监控地址http://hadoop02:8088/cluster
JobHistory历史服务器http://hadoop01:19888/jobhistory
hbase监控地址http://hadoop01:16010/master-status

组件安装

关系型数据库组件

MySQL

  1. 找到 mysql-5.7.36-1.el7.x86_64.rpm-bundle.tar 该文件，解压后进行安装

  2. 解压并安装

    mkdir mysql
tar -xvf mysql-5.7.36-1.el7.x86_64.rpm-bundle.tar -C mysql

rpm -ivh mysql-community-common-5.7.36-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.36-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-compat-5.7.36-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.36-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.36-1.el7.x86_64.rpm

  3. 数据库初始化

    mysqld --initialize --user=root

  4. 获取默认密码

    grep 'temporary password' /var/log/mysqld.log
-- 修改默认密码
alter user 'root'@'localhost' identified by 'Admin@123';
-- 开启远程访问权限
grant all PRIVILEGES on *.* to root@'%' identified by 'Admin@123'; 
-- 刷新权限
flush privileges;

大数据组件

Hadoop

  1. core-size.xml配置文件

    <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- 指定NameNode地址 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/data/hadoopdata</value>
	</property>
	<!-- 指定hadoop数据存储目录 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://hadoop01:9000</value>
	</property>
	<property>
		<name>hadoop.http.staticuser.user</name>
		<value>root</value>
	</property>
	<!-- 不开启权限检查 -->
	<property>
		<name>dfs.permissions.enabled</name>
		<value>false</value>
	</property>
	<!-- 启动超级代理用户 -->
	<property>
		<name>hadoop.proxyuser.root.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.root.groups</name>
		<value>*</value>
	</property>
</configuration>

  2. hdfs-size.xml

    <?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/data/hadoopdata/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/data/hadoopdata/data</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop01:9870</value>
        <description>nn web 端访问地址</description>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop03:9868</value>
        <description>2nn web 端访问地址</description>
    </property>
</configuration>

  3. mapred-site.xml

    <?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>hadoop01:10020</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>hadoop01:19888</value>
	</property>
</configuration>

  4. yarn-size.xml

    <?xml version="1.0"?>

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop02</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>
    <!-- flink 设置项 -->
    <!-- master（JobManager）失败重启的最大尝试次数-->
    <property>
        <name>yarn.resourcemanager.am.max-attempts</name>
        <value>4</value>
    </property>
    <!-- 关闭yarn内存检查 -->
    <!-- 是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认为 true -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <!-- 因为对于 flink 使用 yarn 模式下，很容易内存超标，这个时候 yarn 会自动杀掉 job，因此需要关掉-->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

  5. workers 【datanode集群ip】

    hadoop01
hadoop02
hadoop03
Hive

  1. 上传安装包并解压

  2. 将安装路径配置到/etc/profile

     vim /etc/profile
 
#HIVE_HOME
export HIVE_HOME=/opt/apps/hive-3.1.2
export PATH=$PATH:$HIVE_HOME/bin

  3. 将lib中的jar包修改一下名称，防止hive启动时日志包冲突

    mv /opt/apps/hive-3.1.2/lib/log4j-slf4j-impl-2.10.0.jar /opt/apps/hive-3.1.2/lib/log4j-slf4j-impl-2.10.0.jar.bak

  4. 创建hive在mysql中的元数据库

  5. 创建conf/hive-site.xml，并修改xml文件信息

    <?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- jdbc连接的URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop01:3306/hive?useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
    </property>
    <!-- jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
	<!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>Admin@123</value>
    </property>
    <!-- Hive默认在HDFS的工作目录 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
    <!-- Hive元数据存储的验证 -->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
    <property>
        <name>datanucleus.schema.autoCreateAll</name>
        <value>true</value>
    </property>
    <!-- 指定存储元数据要连接的地址 -->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://hadoop01:9083</value>
    </property>
    <!-- 指定hiveserver2连接的host -->
    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>hadoop01</value>
    </property>
    <!-- 指定hiveserver2连接的端口号 -->
    <property>
        <name>hive.server2.thrift.port</name>
        <value>10000</value>
    </property>
    <!-- 显示表的列名 -->
    <property>
        <name>hive.cli.print.header</name>
        <value>true</value>
    </property>
    <!-- 显示数据库名称 -->
    <property>
        <name>hive.cli.print.current.db</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.exec.post.hooks</name>
        <value>org.apache.atlas.hive.hook.HiveHook</value>
    </property>
    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>
    <property>
        <name>hive.server2.enable.doAs</name>
        <value>false</value>
    </property>
</configuration>

  6. 初始化hive数仓

    schematool -initSchema -dbType mysql -verbose

  7. 由于hive数据库中注释中文不可显示，则将元数据库中的字段修改编码格式

    -- 修改字段注释字符集
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
-- 修改表注释字符集
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(20000) character set utf8;
-- 修改分区参数
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(20000) character set utf8;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(20000) character set utf8;
-- 修改索引名注释
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
-- 修改视图
alter table TBLS modify column view EXPANDED TEXT MEDIUMTEST character set utf8;
alter table TBLS modify column view ORIGINAL TEXT MEDIUMTEST character set utf8;
ZooKeeper

  1. 上传安装包并解压

    tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz -C /opt/apps/

  2. 新建文件夹zkData 下创建myid文件，并写入1, ==该文件识别每台服务器的id ==

    mkdir zkData
vim myid   >>    1

  3. 在conf目录下，修改zoo_sample.cfg 为zoo.conf

    # 修改路径
dataDir=/opt/apps/zookeeper-3.7.0/zkData
# 添加集群地址
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888

  4. zookeeper 安装包集群分发

  5. 修改各集群zkData/myid中的id，分别改成2,3

  6. 启动zk集群 依次启动

    #!/bin/bash
ssh hadoop01 "source /etc/profile && $ZOOKEEPER_HOME/bin/zkServer.sh start"
ssh hadoop02 "source /etc/profile && $ZOOKEEPER_HOME/bin/zkServer.sh start"
ssh hadoop03 "source /etc/profile && $ZOOKEEPER_HOME/bin/zkServer.sh start"
HBase

  1. 上传并解压安装包

    tar -zxvf hbase-2.4.9-bin.tar.gz -C /opt/apps/

  2. 修改 hbase-env.sh 配置文件

    export HBASE_MANAGES_ZK=false		# 使用外部zk管理hbase

  3. 修改hbase-site.sh 配置文件

    <?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!--设置HBase表数据，也就是真正的HBase数据在hdfs上的存储根目录-->
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://hadoop01:8020/HBase</value>
    </property>
    <!--是否为分布式模式部署，true表示分布式部署-->
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <!--zookeeper集群的URL配置，多个host中间用逗号-->
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>hadoop01,hadoop02,hadoop03</value>
    </property>
    <!--HBase在zookeeper上数据的根目录znode节点-->
    <property>
        <name>zookeeper.znode.parent</name>
        <value>/hbase</value>
    </property>
</configuration>

  4. 修改 regionservers 配置文件

    hadoop01
hadoop02
hadoop03

  5. 安装安装文件集群分发

  6. 配置环境变量并即时生效

  7. 启动hbase

    start-hbase.sh		# 启动hbase集群
W-DW
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop slaves文件_Hadoop 集群的安装配置
weixin_39732825的博客
11-23 4085
写在前面如果你想通过这篇博客在本地成功搭建 Hadoop 集群的话，你需要先跟着视频课程 ：3 天入门大数据技术/Linux/Hadoop/Spark​ke.qq.com 在本地搭建集群环境，在这个视频课程中你需要学习的章节是：VMWare WorkStation 安装创建虚拟机安装 Centos 7 操作系统Centos 7 网络配置方式说明Centos 7 网络配置使用客户端登录操作虚拟机克...
hadoop 查看集群的网页监控状态
CD
12-19 1万+
一、查看集群的网页监控状态 1.查看hdfs集群状态，也就是namenode的访问地址 配置：hdfs-site.xml--dfs.namenode.http-address 默认访问地址：http://namenode的ip:50070 2.如果配置了secondary namenode，那么可以查看secondary namenode的集群状态 配置：hdfs-s
基于阿里云linux服务器登录hadoop的网址http://localhost:9870/
weixin_44999258的博客
01-19 2859
在阿里云linux服务器上搭建了hadoop的Pseudo-Distributed Operation，可通过两种方式登录http://localhost:9870/， 从linux云服务器登录： 此处若想直观看到可视化网页，需要先配置linux的可视化图形界面https://help.aliyun.com/knowledge_detail/41227.html?spm= 从windows登录 ...
node:打不开/node：已拒绝访问
顾北的猫的博客
06-05 3746
初学者会遇到的问题
Hadoop启动成功，但是无法访问http://localhost:9870解决方法
xiaobai_i_xuexi的博客
10-08 1万+
问题： Hadoop启动成功，但是无法访问http://localhost:9870解决方法 1.有博主建议查看防火墙的 输入命令发现我的Linux并没有防火墙。。。所以不可能是防火墙问题 详见：https://www.cnblogs.com/SH170706/p/10320701.html 2.也有博主建议 编辑配置文件hdfs-site.xml 详见https://blog.csdn.net/xingyue0422/article/details/85316822 这些都有尝试 但是仍没有解决 最后
hadoop完全分布式集群搭建
09-24
hadoop完全分布式集群搭建
hadoop2.8.4完全分布式集群搭建
07-22
本人搭建hadoop完全分布式集群时，写的文档，内有详细步骤，
Hadoop搭建完全分布式集群
12-11
总结来说，搭建一个完全分布式的Hadoop集群需要对Linux、Java和Hadoop的原理有深入的理解。这是一个涉及多步骤的过程，每一步都需要谨慎操作。通过这样的集群，企业可以处理PB级别的数据，实现高效的数据分析和挖掘...
Hadoop2.6.5全分布式集群搭建
07-26
VmWare虚拟机中，hadoop-2.6.5版本的全分布式集群搭建
Hadoop集群搭建-完全分布式
01-07
本文通过12个步骤实现Hadoop集群的完全分布式搭建 刚刚入门，如有错误请指出 文章目录1. 服务器准备2. 网络环境准备3. 服务器系统设置4. JDK环境安装5. Hadoop安装6. Hadoop文件配置：hadoop-env.sh（hadoop运行环境...
hadoop的9870端口不能访问WEB界面的解决办法汇总
weixin_43498449的博客
06-07 2万+
hadoop的9870端口不能访问WEB界面的解决办法汇总
hadoop 伪分布式dfs，centos服务器可以访问到http://localhost:9870，但是Mac系统本地无法访问
qq_42058242的博客
08-05 1383
hadoop初入门，伪分布式时，centos服务器可以访问到，是这个地址：http://localhost:9870，但是本地无法访问：
Hadoop集群时进入hadoop:9870无法访问的问题
qq_52874015的博客
03-20 7849
最近在学习时，遇到了集群后无法进入网页的问题。看了好多帖子，他们都出现在cmd里ping不到的问题，但我的ping是可以的 后来我使用命令关闭了防火墙，发现防火墙状态仍是开启的，于是我使用了service命令 service iptables stop 然后 service iptables status 看到控制台里的情况 Active是inactive的，说明防火墙关闭了，此时就可以访问了。 此外，如果防火墙方面没问题，就去找一下你的hdfs-site.xml文件，里面是否有如下几
hadoop生态常用的网址
03-30 717
文章目录hadoop生态常用的网址 hadoop生态常用的网址 apache系列文件 http://archive.apache.org/dist/
hadoop集群搭建（超详细版）
热门推荐
code__online的博客
05-03 10万+
1.准备好需要安装的软件 虚拟机VMware12.pro 操作系统CentOS 6.5 远程控制虚拟机的终端SecureCRT8.1 2.在虚拟机中安装CentOS操作系统 安装好虚拟机，图形界面如下图 创建新的虚拟机，选择自定义（高级），点击下一步 虚拟机硬件兼容性默认，浏览需要安装的CentOS6.5镜像文件 自定义用户名和密码（用于登录） 设置虚...
Apache hadoop集群安装的三种方式：本地、伪分布、完全分布
qq_37873221的博客
05-08 3950
四 Hadoop运行模式1）官方网址（1）官方网站：http://hadoop.apache.org/（2）各个版本归档库地址 https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/（3）hadoop2.7.2版本详情介绍http://hadoop.apache.org/docs/r2.7.2/2）Hadoop运行模式（1）本地模式（...
大数据系列 | 解决Hadoop不能打开端口8088的网页问题(50070可以打开)
woshinsy的博客
03-29 1万+
解决Hadoop不能打开端口8088的网页问题(50070可以打开) 原因： 本地hosts文件没有添加集群ip 集群环境没有开放8088端口 hadoop的配置文件yarn-site.xml问题 解决方法： 首先检查一下使用集群ip:8088是否可以访问 可以访问即是本地hosts配置问题 以管理员身份打开WindowsPowershell C:> CD C:\Windows\System32\drivers\etc C:\Windows\System32\drivers\etc>
Hadoop集群的配置
qq_54542910的博客
10-19 5389
Hadoop集群的配置，克隆机的配置，免密登录，启动集群等
Hadoop配置 可以用ip地址访问8088，无法用hostname访问8088
最新发布
milk_aquarium的博客
12-13 1637
Hadoop配置 可以用ip地址访问8088，无法用hostname访问8088。即可以使用[ip地址]:8088可以打开网页，但是用[hostname]:8088却无法打开网页
Hadoop集群伪分布式搭建指南v3.1.3
"这是一个关于如何在CentOS7.6环境下搭建Hadoop集群伪分布式的操作手册，版本为Hadoop3.1.3，并且要求使用JDK1.8。手册首先介绍了所需的环境，然后逐步指导用户进行环境配置，包括安装Vim、修改主机名、创建并配置'...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值