hadoop

最新推荐文章于 2024-10-10 11:21:08 发布
最新推荐文章于 2024-10-10 11:21:08 发布
阅读量1.5k 收藏 40
点赞数 27
文章标签： php 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YJH040325/article/details/135510321
版权
本文详细描述了如何使用虚拟机在Linux环境中搭建全分布式集群，包括配置网络、主机名，设置SSH密钥，配置Hadoop（HDFS和YARN）、Hive以及连接MySQL。教程涵盖了从基础环境设置到数据库连接的全过程。
摘要由CSDN通过智能技术生成

5.5（正经）全分布式集群

当用虚拟机操作时，可以操作完master后直接克隆，只需要修改slave ip,就可以实现集群搭建

5.5.1集群规划

5.5.2分别创建两台虚拟机，然后分别为他们配置网络

1.1worker00 ip改为200

vi   /etc/sysconfig/network-scripts/ifcfg-ens33

将BOOTPROTO=dhcp改为=static

    ONBOOT=no改为yes

在末尾添加

IPADDR=192.168.XX.200  #用自己的ip

NETMASK=255.255.255.0

GATEWAY=192.168.XX.2  #用自己的ip

DNS1=114.114.114.114

#重新加载网络设置

service  network  restar

1.2#worker01改为201

vi   /etc/sysconfig/network-scripts/ifcfg-ens33

将BOOTPROTO=dhcp改为=static

    ONBOOT=no改为yes

在末尾添加

IPADDR=192.168.XX.201  #用自己的ip

NETMASK=255.255.255.0

GATEWAY=192.168.XX.2  #用自己的ip

DNS1=114.114.114.114

#重新加载网络设置

service  network  restar

5.5.3分别为主机修改主机名

hostnamectl  set-hostname  worker00

bash  #重置

hostnamectl  set-hostname  worker01

bash  #重置

5.5.4设置几个服务器相互免密

在worker00上生成密钥

ssh-keygen

#发送给自己

ssh-copy-id  -i  ~/.ssh/id_rsa.pub  192.168.xx.200

#发送给worker01

ssh-copy-id  -i  ~/.ssh/id_rsa.pub  192.168.xx.201

在worker01上生成密钥

ssh-keygen

#发送给自己

ssh-copy-id  -i  ~/.ssh/id_rsa.pub  192.168.xx.201

#发送给worker01

ssh-copy-id  -i  ~/.ssh/id_rsa.pub  192.168.xx.200

5.5.5修改ip映射

在worker00上配置该内容

vi    /etc/hosts

#文末添加

192.168.xx.200  worker00

192.168.xx.201  worker01

将配置好的hosts文件发送到worker01

scp   /etc/hosts   worker01:/etc/hosts

5.5.6解压jdk和hadoop  #在worker00上操作

ls  /opt（可省略）

tar  -zxf    /opt/jdk-8u221-linux-x64.tar.gz   -C   /usr/local/

tar  -zxf    /opt/hadoop-3.2.4.tar.gz   -C   /usr/local/

配置环境变量

vi  /etc/profile  文末添加

export JAVA_HOME=/usr/local/jdk1.8.0_221

export HADOOP_HOME=/usr/local/hadoop-3.2.4

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

输入source  /etc/profile使文件生效

5.5.7配置hadoop  #在worker00上操作

cd   /usr/local/hadoop-3.2.4/etc/hadoop  #配置文件在此目录

vi  hadoop-env.sh

在文件开头添加如下内容

HDFS_NAMENODE_USER=root

HDFS_DATANODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

YARN_RESOURCEMANAGER_USER=root

YARN_NODEMANAGER_USER=root

export JAVA_HOME=/usr/local/jdk1.8.0_221

保存并退出

vi  core-site.xml  #对hdfs的通信端口进行指定

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://worker00:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/tmp/hadoop</value>

</property>

</configuration>

vi hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

</configuration>

保存并退出

cd  $HADOOP_HOME/etc/hadoop  #进入hadoop的配置文件

配置mapred-site.xml

vi  mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>yarn.app.mapreduce.am.env</name>

<value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.4</value>

</property>

<property>

<name>mapreduce.map.env</name>

<value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.4</value>

</property>

<property>

<name>mapreduce.reduce.env</name>

<value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.2.4</value>

</property>

</configuration>

vi  yarn-site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

vi  workers  #添加被管理的datanode节点

删除所有数据并添加代表着两个节点存数据

worker00

worker01

5.5.8将所有文件发送到worker01

#在worker00上操作

scp    /etc/profile  worker01:/etc/profile

#到worker01上输入source  /etc/profile使更改生效

#在worker00上操作

#jdk

scp  -r   /usr/local/jdk1.8.0_221   worker01:/usr/local/jdk1.8.0_221

#hadoop

scp  -r   /usr/local/hadoop-3.2.4/   worker01:/usr/local/hadoop-3.2.4/

5.5.9格式化集群

#在worker00上操作

hdfs  namenode  -format

5.6.0启动集群

#在worker00上操作

cd  $HADOOP_HOME

sbin/start-dfs.sh  #启动hdfs集群

sbin/stop-dfs.sh  #停止hdfs集群

sbin/start-yarn.sh  #启动yarn集群

sbin/stop-yarn.sh  #停止yarn集群

5.6.1关闭防火墙

systemctl  stop  firewalld   #关闭防火墙

systemctl  disable  firewalld  #开机不开启防火墙

systemctl  status  firewalld  #查看防火墙状态

6.6 hive配置（要保证伪/全分布式|hdfs+yarn成功配置）

6.6.1下载hive

yum  -y  install  wget

cd  /opt

wget  https://mirrors.aliyun.com/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

先要启动集群（伪分布式就可以了）

#在worker00上操作

cd  $HADOOP_HOME

sbin/start-dfs.sh  #启动hdfs集群

sbin/start-yarn.sh  #启动yarn集群

6.6.2derby模式配置

1.1解压

tar  -zxf   /opt/apache-hive-3.1.2-bin.tar.gz  -C   /usr/local/

1.2配置环境变量HIVE_HOME

vi  /etc/profile

文末添加以下内容

export HIVE_HOME=/usr/local/apache-hive-3.1.2-bin

export PATH=$PATH:$HIVE_HOME/bin

输入source  /etc/profile使修改生效

直接输入hive启动hive,会报错，按下面步骤继续搞

1.3替换hive中落后的文件

cp   $HADOOP_HOME/share/hadoop/common/lib/guava-27.0-jre.jar  $HIVE_HOME/lib/

rm  -f  $HIVE_HOME/lib/guava-19.0.jar

1.4启动hive-要保证hadoop启动hdfs yarn

切换到/root目录

初始化hive

cd  ~  #切换到root目录‘

rm  -fr  *  #删除root下的所有文件，免得干扰初始化

schematool  -initSchema  -dbType  derby #初始化derby数据库

1.5测试一下

create database xx;

use xx;

create table t1(id int,name string);

insert into t1 values(1,'faker'),(2,'bob');

select * from t1;

select count(*) from t1 where id>1;

6.6.3mysql模式配置

1.1安装mysql

rpm -qa|grep mariadb

rpm -e mariadb-libs-5.5.68-1.el7.x86_64 --nodeps #建议用这种

cd  /opt

tar  -xf  mysql-5.7.40-1.el7.x86_64.rpm-bundle.tar #解压

#安装包

rpm  -ivh  mysql-community-common-5.7.40-1.el7.x86_64.rpm

rpm  -ivh  mysql-community-libs-5.7.40-1.el7.x86_64.rpm

rpm  -ivh  mysql-community-cliet-5.7.40-1.el7.x86_64.rpm

yum  install  -y  net-tools

yum  install  -y  perl

rpm  -ivh  mysql-community-server-5.7.40-1.el7.x86_64.rpm

 

rpm  -ivh  mysql-community-server-5.7.40-1.el7.x86_64.rpm

1.2启动mysql

systemctl  start  mysql  如果启动失败，rm  -fr  /var/lib/mysql/*删除运行痕迹再启动

1.3查看临时密码

cat   /var/log/mysql.log  |  grep  password

#登录mysql

mysql  -u  root  -p

输入密码

1.4修改密码

set global validate_password_policy=LOW;

set global validate_password_length=6;

ALTER USER 'root'@'localhost' IDENTIFIED BY'123456';

1.5在mysql中创建hive使用的数据库

create database hivedb CHARACTER SET utf8;

1.6解压

tar  -zxf   /opt/apache-hive-3.1.2-bin.tar.gz  -C   /usr/local/

1.7配置环境变量HIVE_HOME

vi   /etc/profile

文末添加以下内容

export  HIVE_HOME=/usr/local/apache-hive-3.1.2-bin

export  PATH=$PATH:$HIVE_HOME/bin

source   /etc/profile 使修改生效

直接输入hive启动hive,会报错，按下面步骤继续搞

1.8替换hive中落后的文件

cp   $HADOOP_HOME/share/hadoop/common/lib/guava-27.0-jre.jar  $HIVE_HOME/lib/

rm  -f  $HIVE_HOME/lib/guava-19.0.jar

1.9配置hive-site.xml

cd  $HIVE_HOME/conf  #进入配置文件夹

vi  hive-site.xml

<configuration>

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://localhost:3306/hivedb?createDatabaselfNotExist=true&character Encoding=UTF-8&useSSL=false&serverTimezone=GMT</value>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<!--修改为自己的mysql账号-->

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

</property>

<!--修改为自己的mysql密码-->

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>123456</value>

</property>

<!--忽略HIVE元数据库版本的校验，如果非要校验就要进入mysql升级版本-->

<property>

<name>hive.metastore.schema.verification</name>

<value>false</value>

</property>

</configuration>

2.0将mysql的链接jar包传到hive安装目录下的lib目录

下载驱动包

/usr/local/apache-hive-3.1.2-bin/lib

2.1初始化mysql与hive

schematool -initSchema -dbType mysql  #只需要在安装完成后格式化未来启动不需要

2.2启动hive

hive

YJH040325
关注
Hadoop安装与配置详细教程
王佳斌
04-27 16万+
【确保服务器集群安装和配置已经完成！】 前言 请根据读者的自身情况，进行相应随机应变。 我的三台CentOS7服务器： 主机：master（192.168.56.110） 从机：slave0（192.168.56.111） 从机：slave1（192.168.56.112） 每一个节点的安装与配置是相同的，在实际工作中，通常在master节点上完成安装和配置后，然后将安装目录复制到其他节点就可以，...
安装Hadoop2.10.1
慕诡的博客
04-22 5211
文章目录 前言 通过在Hadoop1安装Hadoop,然后配置相应的配置文件，最后将Hadoop 所有文件同步到其他Hadoop节点。 一、集群规划 #主机名 ‘master/hadoop1’ ‘slave01/hadoop2’ ‘slave02/hadoop3’ #启动节点 Namenode Nodemanager Nodemanager Resourcemanager
【Hadoop】Windows下安装Hadoop（手把手包成功安装）
tttzzzqqq2018的博客
07-26 3万+
【实操】Windows下安装Hadoop（手把手包成功安装）
Hadoop大数据集群搭建（超详细）
小飞飞V5的博客
05-21 3万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
1、hadoop3.1.4简单介绍及部署、简单验证
alanchanchn的专栏
04-23 5万+
Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架）：解决海量数据计算Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
Hadoop集群搭建（超级详细）
热门推荐
qq_43650672的博客
05-07 7万+
本文略长，希望各位大佬见谅！！！ 需要的安装包：jdk-8u162-linux-x64.tar.gz（ 提取码：6k1i ）、hadoop-3.1.3.tar.gz（ 提取码：07p6 ） 1 集群规划 安装VMware，使用三台Ubuntu18.04虚拟机进行集群搭建，下面是每台虚拟机的规划： 主机名 IP 用户 HDFS YARN hadoopMaster 待定 rmc0924 NameNode、DataNode NodeManager、ResourceManager hado
Hadoop入门
weixin_58202386的博客
04-20 2896
一. 概念 二.环境准备 三.Hadoop生产集群搭建 四. 常见问题的解决方法
hadoop学习
言之。
07-04 1万+
安装 下载hadoop2.10.1(清华源) 解压 tar -zxvf hadoop.tar.gz 配置环境变量 vim /etc/profile export JAVA_HOME=... export HADOOP_HOME=... export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile 如果是yum安装的java, 查看JAVA_HOME https://www.cnblogs.
Hadoop 完全分布式搭建（超详细）
JIE的博客 --- moon_coder
10-24 3万+
到此为止，我们的 Hadoop 完全分布式就已经搭建完成啦！
Hadoop 安装与配置
weixin_43571612的博客
02-22 3万+
hadoop在Ubantu中的安装与配置
hadoop3.3.4 winutils
12-18
Hadoop是大数据处理领域的重要框架，它以分布式计算模型为基础，提供高可靠性和高扩展性的数据存储和处理能力。在Windows环境下配置和运行Hadoop通常比在Linux上更为复杂，因为Hadoop最初是为Unix-like系统设计的。...
Hadoop下载 hadoop-2.9.2.tar.gz
07-06
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
Hadoop下载 hadoop-3.3.3.tar.gz
07-06
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
基于Hadoop的电影影评数据分析
04-04
【基于Hadoop的电影影评数据分析】是一项大数据课程的大作业，旨在利用Hadoop的分布式处理能力来分析电影影评数据。Hadoop是一个由Apache软件基金会开发的开源框架，专为处理和存储大规模数据而设计。它由四个核心...
hadoop-3.3.6.tar.gz - hadoop 3.3.6 安装包
07-19
文件名: hadoop-3.3.6.tar.gz 这是 Hadoop 3.3.6 版本的安装包(即二进制版,不是源码)，文件格式为 tar.gz,解压后直接使用. Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层...
使用API接口创建短链接【PHP版】
weixin_43833373的博客
10-10 355
C1N短网址(c1n.cn)还提供了丰富的短链接管理的API接口，只需进行简单的接口调用，就能将稳定好用的短链接系统接入到自己的产品中，极大地降低了开发成本。上述代码中使用到的token需要前往C1N短网址(c1n.cn)-控制台-我的信息进行查询。
PHP智慧餐饮新风尚点餐系统
最新发布
2401_84593614的博客
10-10 381
总的来说，智慧餐饮新风尚点餐系统不仅为顾客带来了便捷、高效、个性化的点餐体验，也为餐厅提供了有力的运营支持。它让美食与科技实现了完美结合，让我们在享受美食的同时，也能感受到科技的魅力。如果你还没有尝试过这款点餐系统，不妨找个机会去体验一下，相信它会给你带来不一样的惊喜！
RCE+[伪协议综合]
2302_81328699的博客
10-03 555
伪协议综合
原生input实现时间选择器用法
敲代码无敌小奶龙的博客
10-08 451
原生input实现时间选择器用法
Hadoop权威指南
"Hadoop.The.Definitive.Guide" 《Hadoop：权威指南》是由Tom White编写的关于Hadoop技术的详细教程。这本书是Hadoop学习者的必备参考书，旨在为读者提供全面深入的Hadoop知识。书中涵盖了Hadoop生态系统的核心组件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值