分布式hadoop 部署

已于 2022-11-19 22:10:15 修改
阅读量743 收藏 1
点赞数
分类专栏： 大数据hadoop 文章标签： hadoop 分布式 大数据
于 2022-11-19 21:38:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38999072/article/details/127942503
版权

1.安装并配置Hadoop

mkdir -p /usr/hadoop  &&  cd /usr/package277/

tar -zxvf hadoop-2.7.7.tar.gz -C /usr/hadoop/

xsync.sh /usr/hadoop/

将Hadoop安装目录配置到环境变量中，方便后续使用：

vim /etc/profile
# hadoop
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.7/
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

xsync.sh /etc/profile
source /etc/profile

安装成功后我们进行Hadoop的基本配置分别编辑core-site.xml以及hdfs-site.xml与yarn-site.xml的配置文件：

cd $HADOOP_HOME/etc/hadoop
1.hadoop-env.sh运行环境 ======================
vim hadoop-env.sh
echo $JAVA_HOME
echo "export JAVA_HOME=/usr/java/jdk1.8.0_221" >> hadoop-env.sh



2.core-site.xml全局参数============================
vim core-site.xml  # 增加如下内容

#namenode 主机为master 端口9000
#临时目录位置为绝对路径 /root/hadoopData/tmp
<configuration>
    <property>
      <name>fs.default.name</name>
       <value>hdfs://master:9000</value>
    </property>
    <property>
      <name>hadoop.tmp.dir</name>
       <value>/root/hadoopData/tmp</value>
    </property>
    <property>
      <name>io.file.buffer.size</name>
       <value>131072</value>
    </property>
    <property>
      <name>fs.checkpoint.period</name>
       <value>60</value>
    </property>
    <property>
      <name>fs.checkpoint.size</name>
       <value>67108864</value>
    </property>

</configuration>

三台机器都创建
mkdir -p /root/hadoopData/tmp


3，hdfs-site.xml配置文件============================
vim hdfs-site.xml  # 增加如下内容
# namenode临时文件所存放的目录
# datanode临时文件所存放的目录
# 关闭权限校验 集群间用hostname通信
<configuration>
   <property>
        <name>dfs.replication</name>
        <value>2</value>
   </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/root/hadoopData/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/root/hadoopData/data</value>
    </property>
    
    <property>
       <name>dfs.permissions</name>
       <value>false</value>
    </property>
    <property>
      <name>dfs.datanode.use.datanode.hostname</name>
      <value>true</value>
    </property>
    
    
</configuration>

三台机器都创建
mkdir -p /root/hadoopData/name
mkdir -p /root/hadoopData/data

4，YARN框架运行环境============================
echo "export JAVA_HOME=/usr/java/jdk1.8.0_221" >> yarn-env.sh





5.YARN框架的核心配置============================
vim yarn-site.xml  # 增加如下内容

<configuration>
<!-- 指定ResourceManager的地址-->
<property>
   <name>yarn.resourcemanager.address</name>
   <value>master:18040</value>
</property>

 <property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>master:18030</value>
 </property>
 
 <property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>master:18088</value>
 </property>
 
 <property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>master:18025</value>
 </property>

<property>
   <name>yarn.resourcemanager.admin.address</name>
   <value>master:18141</value>
 </property>
 
<!-- 指定reducer获取数据的方式-->
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>

<property>
  <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property> 

</configuration>

6,拷贝并编辑MapReduce的配置文件：

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml  # 增加如下内容

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

7,配置从节点：

echo master > master && echo slave1 > slaves  && echo slave2 >> slaves

8，分发到其它服务器上

cd /usr/hadoop
xsync.sh hadoop-2.7.7

2.格式化Hadoop并启停

在Master中对NameNode进行格式化操作：

hdfs namenode -format

启动集群：

start-all.sh

start-dfs.sh
start-yarn.sh

查看进程：

jps  
# 查看是否有以下几个进程

# Master节点：
6256 Jps
5843 ResourceManager
5413 NameNode
5702 SecondaryNameNode

# Slave节点
6256 Jps
5538 DataNode
5945 NodeManager

访问监控主页：

在浏览器上访问主节点的50070端口：192.168.42.128:50070。可以访问50070端口就代表集群中的HDFS是正常的。

访问主节点的8088端口，这是YARN的web服务端口，例如：192.168.42.128:8088。

关闭节点：

stop-dfs.sh
stop-yarn.sh

===================================================

集成HIVE

1.mysql

  • 关闭开机自启服务
1.配置过本地源了，安装MySQL Server
安装MySQL：yum -y install mysql-community-server





systemctl disable mysqld

#开启服务
systemctl start mysqld

#查看密码
grep "temporary password" /var/log/mysqld.log



mysql -uroot -p
E&po>2BCjekL

#设置密码强度为低级：
set global validate_password_policy=0;
#设置密码长度：
set global validate_password_length=4;
#修改本地密码：
alter user 'root'@'localhost' identified by '123456';


设置远程登录
	以新密码登陆MySQL：mysql -uroot -p123456
	创建用户：create user 'root'@'%' identified by '123456';
	允许远程连接：grant all privileges on *.* to 'root'@'%' with grant option;
	刷新权限：flush privileges;

创建数据库hive；
create database hive character set utf8;

2.安装Hive 注意操作的机器

首先下载Hive_2.3.6

mkdir -p /usr/hive
cd /usr/package277/

tar -zxvf apache-hive-2.3.4-bin.tar.gz -C /usr/hive/

修改环境变量：

vim /etc/profile

# HIVE
export HIVE_HOME=/usr/hive/apache-hive-2.3.4-bin
export PATH=$PATH:$HIVE_HOME/bin

# 刷新配置
source /etc/profile
设置HIVE运行环境
1.运行环境 ==============
cd $HIVE_HOME/conf && cp hive-env.sh.template hive-env.sh && vim hive-env.sh

# 配置Hadoop安装路径
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.7
# 配置Hive配置文件存放路径
export HIVE_CONF_DIR=/usr/hive/apache-hive-2.3.4-bin/conf
# 配置Hive运行资源库路径
export HIVE_AUX_JARS_PATH=/usr/hive/apache-hive-2.3.4-bin/lib


2.版本冲突=============两个机器都执行
cp $HIVE_HOME/lib/jline-2.12.jar $HADOOP_HOME/share/hadoop/yarn/lib/

分发
xsync.sh $HADOOP_HOME/share/hadoop/yarn/lib/

3.分发=============
xsync.sh apache-hive-2.3.4-bin/

xsync.sh /etc/profile

source /etc/profile

3.HIVE 元数据配置到MySQL

1，因为服务端需要和Mysql通信，所以服务端需要将Mysql的依赖包放在Hive的lib目录下。

cd /usr/package277
cp mysql-connector-java-5.1.47-bin.jar $HIVE_HOME/lib

2，Slave1作为服务器端配置hive

cd $HIVE_HOME/conf
vim hive-site.xml

<configuration>
<!-- Hive产生的元数据存放位置-->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<!-- 数据库连接driver，即MySQL驱动-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!-- 数据库连接JDBC的URL地址-->
<property>
<name>javax.jdo.option.ConnectionURL</name> 
<value>jdbc:mysql://slave2:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>
<!-- MySQL数据库用户名-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!-- MySQL数据库密码-->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
</configuration>

4.Master作为客户端配置hive

1.=============
cd /usr/package277
cp mysql-connector-java-5.1.47-bin.jar $HIVE_HOME/lib

2.==============
cd $HIVE_HOME/conf
vim hive-site.xml

<configuration>
<!-- Hive产生的元数据存放位置-->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<!--- 使用本地服务连接Hive,默认为true-->
<property>
<name>hive.metastore.local</name>
<value>false</value>
</property>
<!-- 连接服务器-->
<property>
<name>hive.metastore.uris</name>
<value>thrift://slave1:9083</value>
</property>
</configuration>

5 .HIVE 元数据配置到MySQL

1.初始化数据库
slave1上：

schematool -dbType mysql -initSchema
2.启动hive server服务

设置成远程模式之后必须保证先启动metastore服务或者进程，之后才能进行开启客户端。

hive --service metastore（注意空格）
3.启动hive client 在master上
hive
4，创建数据库hongyaa
hive>create database hive;

===============================================

增删节点

  1. 修改主机名用hostnamectl命令

    关闭防火墙
systemctl stop firewalld
关闭开机启动
systemctl disable firewalld.service


hostnamectl set-hostname slave3
bash

  2. 修改host文件

    先免密登录，然后修改下分发文件脚本
ssh-copy-id slave3

vim /etc/hosts

192.168.5.100 master
192.168.5.101 slave1
192.168.5.102 slave2
172.16.10.0 slave3

source /etc/profile

  3. 时区修改成上海时区（CST +0800时区）

    tzselect
TZ='Asia/Shanghai'; export TZ
date 查看

echo "TZ='Asia/Shanghai'; export TZ" >> /etc/profile && source /etc/profile

  4. 每十分钟同步一次时间

     crontab -e 
 
 */10 * * * * /usr/sbin/ntpdate master
 
 crontab -l
 
 #安装和启动NTP
 yum install -y ntp
 ntpdate master

  5. 分发jdk 和环境变量

    xsync.sh /usr/java/jdk1.8.0_221/

xsync.sh /etc/profile

source /etc/profile

mkdir -p /root/hadoopData/tmp
mkdir -p /root/hadoopData/name
mkdir -p /root/hadoopData/data

分发hadoop

  6. 启动节点进程

启动datanode进程：$HADOOP_HOME/sbin/hadoop-daemon.sh start datanode
启动nodemanage进程：$HADOOP_HOME/sbin/yarn-daemon.sh start nodemanager

  1. 查看集群状态

    主节点刷新：hdfs dfsadmin -refreshNodes
均衡block：sbin/start-balancer.sh
查看存活的节点：hdfs dfsadmin -report 


可以通过浏览器查看50070
    二，永久删除：（通过此步骤执行）
1. 注意版本号
master主机中hdfs-site.xml配置如下

<property>
         <name>dfs.hosts.exclude</name>
         <value>/usr/hadoop/hadoop-2.7.7/etc/hadoop/excludes</value>
         <description>拒绝加入集群的节点列表</description>
</property>

2.然后在conf目录下创建一个excludes文件，将需要删除的节点机器名添加到文件中即可。

3.强制重新加载配置：
主节点刷新所有DataNode：hdfs dfsadmin -refreshNodes
查看存活的节点：hdfs dfsadmin -report 

4.删除节点上关闭进程：（slave2）
hadoop-daemon.sh stop datanode
yarn-daemon.sh stop nodemanager

5.（时间间隔较久，500s）再次查看节点状态：hdfs dfsadmin -report

6.最后更新集群配置
数据块重新分布：sbin/start-balancer.sh（数据均衡）
从NameNode的excludes文件及slaves文件、hosts文件中去掉已经移除的主机名
醉卧千山下，诗酒趁年华。
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hadoop完全分布式部署
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-25 2913
要想深入的学习hadoop数据分析技术，首要的任务是必须要将hadoop集群环境搭建起来，可以将hadoop简化地想象成一个小软件，通过在各个物理节点上安装这个小软件，然后将其运行起来，就是一个hadoop分布式集群了。(1）学会hadoop完全分布式配置 (2）理解完全分布式配置的配置文件本次环境是：Ubuntu16.04 + jdk1.8.0_73+hadoop-2.7.3Hadoop 集群的安装配置大致为如下流程:   选定一台机器作为 master，在 master 节点上安装 Hadoop，配置网
NameNode 初始化过程
aLivable_Dedode的博客
12-24 1642
HDFS文件系统是主从分布式文件系统，其中其中主节点为master，上面有一个非常重要的节点NameNode ，它的作用有管理整个集群的元数据信息、响应客户端的请求、接受DataNode心跳信息、定期CheckPoint等，它管理着集群。在安装hadoop之后启动之前先需要进行格式化操作，然后会用sbin/hadoop-dasmon.sh start namenode启动进程。 在源码中可以看到在...
5.格式化master集群（&启动集群）
YANG_xiao_QI的博客
12-03 1276
1）删除slave1、slave2节点历史数据 两个节点分别执行 (删除hadoopdata) rm -rf /hadoop/hadoopdata/ 已配置集群 (这是我自己的文件路径) rm -rf /home/yrq/hadoopdata 2）在192.168.1.4主机执行格式化 hdfs namenode -format 3）在192.168.1.4主机执行启动 start-all.sh 关闭 stop-all.sh 4）jps查看master进程,slave1和slave
Namenode 格式化
热门推荐
CJ_forever的博客
04-03 1万+
在经过多次练习后，对操作流程也很熟悉，先配置5个文件，关闭防火墙、selinux，然后namenode格式化，成功后起节点但架不住皮啊，后果就是错误极难发现这个就我昨儿碰到的，反复查看没辙，文件配置没毛病，防火墙和selinux也关着呢   一问老师，分分钟解决了！找不到问题，那就查看日志呗   直接切入根源所在，按着日志说的去查，搞定从这我体会到了日志的重要性，去网上也搜了一些查看日志的命令： ...
namenode格式化遇到的几个问题
小萌猿的博客
11-20 2876
1、Call From node1/192.168.245.151 to node6:8485 failed on connection 8485端口是journalnode的端口， 就是说连接不上journalnode，所以在几个journalnode节点分别执行hadoop-daemon.sh start journalnode打开即可 2、启动Hbase时Hmaster进程报错： org.a...
master节点无法启动namenode，datanode问题
qq_45315614的博客
10-24 3864
格式化出错是搭建Hadoop环境最容易出现的问题，很多小伙伴都头疼不已，一言不合就从头开始也太难了吧！博主千锤百炼终于找到了不用从投开始就能快速解决的办法，来看看吧~ 1.jps没有出现datanode的问题 这个比较简单了，一般就是你的slave文件出错了。启动集群的时候，slave文件的主机名称与你实际主机的名称不一致导致的。 首先确定slave文件的位置 我是在/home目录下创建了hadoop文件然后在hadoop文件下创建了apps文件用于放我要解压的文件，总之找到你解压后的Hadoop文件位置就
Hadoop 完全分布式部署
shisjin的博客
03-18 1321
Hadoop 完全分布式部署 ，环境：CentOS 7 、jdk1.8 、hadoop 3.3.4
伪分布式hadoop部署乱码文件
06-22
为伪分布式处理提供的乱码文件
Hadoop分布式部署配置文件
10-03
Hadoop分布式部署涉及到多个组件的配置，包括NameNode、DataNode、ResourceManager、NodeManager等，以及相关的配置文件。下面将详细介绍Hadoop分布式部署中的关键知识点。 1. **Hadoop架构基础** Hadoop的核心由...
hadoop完全分布式部署
09-25
hadoop完全分布式安装整合hive，亲自在实际服务器安装测试成功
hadoop分布式部署教程
09-04
hadoop 分布式部署详细教程，操作不走说明写的很详细
大数据hadoop框架完全分布式部署
04-15
大数据hadoop框架完全分布式部署，通俗易懂，零基础小白可搭建，详细步骤注解！！！
namenode格式化的正确方式
qq_43148788的博客
05-31 5449
踩了不少坑，总结一下吧。 1、停掉所有节点 2、删除 data 数据和logs日志 3、开始格式化namenode节 如果不删除数据和日志的话，重新格式化namenode会产生新的集群ID，这样会和datanode的集群ID产生冲突，导致namenode启动失败。 还有就是注意如果出现namenode或者datanode把对方挤掉的情况，很可能是使用了root账户启动了节点，这时候应该切换到root账户查看进程，如果有的话，停止节点，删除数据和日志，问题差不多就解决了。 ...
Hadoop3：MR程序优化的相关参数介绍
Brave_heart4pzj的博客
07-17 386
Hadoop
如何学习Hadoop：糙快猛的大数据之路（利用GPT 学习）
一个7年大数据开发工程师的碎碎念
07-18 1015
请记住，技术工具在不断evolve，"糙快猛"的学习方法可以让你快速掌握新技术的要领。每当你解决了一个难题，克服了一个障碍，你就离你的目标更近了一步。保持热情，保持好奇，继续前进！保持"糙快猛"的学习态度，快速掌握新技术通过实战项目深化对技术的理解。
Hadoop3：HDFS存储优化之小文件归档
Brave_heart4pzj的博客
07-17 434
Hadoop
Hadoop3：MR程序处理小文件的优化办法(uber模式)
Brave_heart4pzj的博客
07-17 707
Hadoop
分布式搜索引擎ES-elasticsearch入门
最新发布
TOMORROW6COME的博客
07-18 1357
正排索引：相当于文档中的一条条记录；例子：汉语值得学习；汉语是语言；汉语学习视频；倒排索引：起源于实际应用中需要根据属性的值来查询记录。这种索引表的每一项都包括一个属性值和包含该属性值得各个记录地址。由于不是根据记录来确定属性，而是根据属性来确定记录的位置。可以记录文档的ids，词频跟位置例子：汉语值得学习；汉语是语言；汉语学习视频；单词文档ids词频TF;位置POS汉1,2,3语1,2,3值得11:1:<3>学习1,3是21:1;<3>言2。
【Git远程操作】理解分布式管理 | 创建远程仓库
m0_74841364的博客
07-18 1002
【Git远程操作】理解分布式管理 | 创建远程仓库

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

醉卧千山下，诗酒趁年华。

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值