Hadoop搭建

已于 2024-01-05 17:36:30 修改
阅读量1k 收藏 23
点赞数 22
文章标签： hadoop 大数据 分布式
于 2024-01-04 16:45:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LjyLjz/article/details/135389306
版权

一、伪分布式搭建

1.配置网络

vi  /etc/sysconfig/network-scripts/ifcfg-ens33

更改

BOOTPROTO=static

ONBOOT=yes

添加

IPADDR=192.168.116.200   

NETMASK=255.255.255.0

GATEWAY=192.168.116.2    

DNS1=114.114.114.114

保存 然后:wq退出

输入

service network restart

  在ip addr查看是否成功  再ping www.baidu.com       ctrl+c结束

2.把包拖入opt里面然后解压

cd /opt

tar  -zxf  /opt/jdk-8u221-linux-x64.tar.gz  -C  /usr/local

tar  -zxf  hadoop-3.2.4.tar.gz  -C  /usr/local/

3.配置环境变量

vi  /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_221

export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/usr/local/hadoop-3.2.4

export PATH=$PATH:$HADOOP_HOME/bin

使更改立即生效   source    /etc/profile

4.生成密钥

ssh-keygen

cat    ~/.ssh/id_rsa.pub    >>    ~/.ssh/authorized_keys

测试是否免密成功 ssh localhost

退出当前远程登录  logout

5.关闭防火墙

  systemctl  stop  firewalld    

   开机不启动防火墙

  systemctl  disable  firewalld

6. 配置dfs.sh文件

    cd /usr/local/hadoop-3.2.4/etc/hadoop/

    vi hadoop-env.sh

   在文件开头添加

HDFS_NAMENODE_USER=root

HDFS_DATANODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

YARN_RESOURCEMANAGER_USER=root

YARN_NODEMANAGER_USER=root

export JAVA_HOME=/usr/local/jdk1.8.0_221

vi core-site.xml

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://localhost:9000</value>

    </property>

  <property>

        <name>hadoop.tmp.dir</name>

        <value>/usr/local/hadoop/tmp</value>

    </property>

</configuration>

vi hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

7.配置mapred-site.xml

vi mapred-site.xml

<configuration>

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>

</property>

<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>

</property>

<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>

</property>

<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>

</property>

<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>

</property>

</configuration>

vi yarn-site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</confiquration>

8.格式化hdfs

hdfs  namenode  -format

9.如果启动失败

rm    -rf    /tmp/*

再hdfs  namenode   -format

10.启动集群

cd  $HADOOP_HOME

    启动hdfs

   sbin/start-dfs.sh

    sbin/start-yarn.sh

   关闭hdfs

   sbin/stop-dfs.sh

   sbin/stop-yarn.sh

二、全分布式搭建

1.配置网络    vi  /etc/sysconfig/network-scripts/ifcfg-ens33

   更改

BOOTPROTO=static

ONBOOT=yes

添加

IPADDR=192.168.116.200   

NETMASK=255.255.255.0

GATEWAY=192.168.116.2    

DNS1=114.114.114.114

保存 然后:wq退出

输入

service network restart

2.把包拖入opt里面然后解压

cd /opt

tar  -zxf  /opt/jdk-8u221-linux-x64.tar.gz  -C  /usr/local

tar  -zxf  hadoop-3.2.4.tar.gz  -C  /usr/local/

3.配置环境变量

vi  /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_221

export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/usr/local/hadoop-3.2.4

export PATH=$PATH:$HADOOP_HOME/bin

使更改立即生效

source    /etc/profile

4. 配置dfs.sh文件

    cd /usr/local/hadoop-3.2.4/etc/hadoop/

    vi hadoop-env.sh

   在文件开头添加

HDFS_NAMENODE_USER=root

HDFS_DATANODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

YARN_RESOURCEMANAGER_USER=root

YARN_NODEMANAGER_USER=root

export JAVA_HOME=/usr/local/jdk1.8.0_221

vi core-site.xml

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://localhost:9000</value>

    </property>

  <property>

        <name>hadoop.tmp.dir</name>

        <value>/usr/local/hadoop/tmp</value>

    </property>

</configuration>

vi hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

5.配置mapred-site.xml

vi mapred-site.xml

<configuration>

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>

</property>

<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>

</property>

<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>

</property>

<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>

</property>

<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>

</property>

</configuration>

vi yarn-site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</confiquration>

6.修改hosts映射

vi /etc/hosts

添加如下内容（ip和主机名根据自己实际情况而改变）

192.168.136.200  master192.168.136.201  slave1192.168.136.202  slave2

7.添加主机名字

切换到 cd /usr/local/hadoop-3.2.4/etc/hadoop/

vi workers

添加master

slave1

slave2

8.克隆两台虚拟机slave1 slave2

9.修改slave1、slave2主机名

 hostnamectl set-hostname slave1

bash #重置

 hostnamectl set-hostname slave2

bash #重置

10.修改两台主机的ip

 vi    /etc/sysconfig/network-scripts/ifcfg-ens33

IPADDR=192.168.136.201/202

NETMASK=255.255.255.0

GATEWAY=192.168.136.2

DNS1=114.114.114.114

然后再service network restart

11.master与slave1、slave2之间互相免密

ssh-keygen

cat  ~/.ssh/id_rsa.pub  >>  ~/.ssh/authorized_keys

ssh-copy-id  -i  root@slave1       (slave2)

同时在salve1、slave2上生成秘钥，发送给自己，然后再发送给master

ssh-keygen

cat  ~/.ssh/id_rsa.pub  >>  ~/.ssh/authorized_keys

ssh-copy-id  -i  root@master

输入ssh localhost测试是否对自己免密远程登录

输入logout退出当前远程登录

12.将所有文件发送到slave1、slave2

scp  /etc/profile  slave1:/etc/profile     (slave2)

#请到slave1、slave2上输入source /etc/profile使更改生效

#在master上操作

#jdk

scp -r /usr/local/jdk1.8.0_221  slave1:/usr/local/jdk1.8.0_221     (slave2)

#hadoop

scp -r /usr/local/hadoop-3.2.4/  slave1:/usr/local/hadoop-3.2.4/      (slave2)

#到slave1、slave2上输入source /etc/profile使更改生效

13.关闭防火墙

systemctl stop firewalld   #关闭防火墙

systemctl disable firewalld   #开机不启动防火墙

systemctl status firewalld   #查看防火墙状态

14.格式化hdfs

hdfs  namenode  -format

如果启动失败

rm    -rf    /tmp/*

再hdfs  namenode   -format

15.启动集群

cd  $HADOOP_HOME

启动hdfs

sbin/start-dfs.sh

sbin/start-yarn.sh

关闭hdfs

sbin/stop-dfs.sh

sbin/stop-yarn.sh

三、spark搭建（伪分布式）

1.首先要启动Hadoop

cd $HADOOP_HOME

sbin/start-dfs.sh

sbin/tart-yarn.sh

2.把文件拖到opt里面然后解压

tar -zxf /opt/spark-3.2.4-bin-hadoop3.tar  -C  /usr/local

3.配置环境变量

vi /etc/profile

export SPARK_HOME=/usr/local/spark-3.2.4-bin-hadoop3

export PATH=$PATH:$SPARK_HOME/bin

4.然后生成文件

source /etc/profile

5.计算pi

cd $SPARK_HOME

spark-submit  \

--class org.apache.spark.examples.SparkPi  \

$SPARK_HOME/examples/jars/spark-examples_2.12-3.3.2.jar  10

6.进入spark配置文件目录

cd $SPARK_HOME/conf

#复制spark配置文件

cp spark-env.sh.template spark-env.sh

vi spark-env.sh

#文末添加以下内容

export JAVA_HOME=/usr/local/jdk1.8.0_221

export HADOOP_HOME=/usr/local/hadoop-3.2.4

export HADOOP_CONF_DIP=${HADOOP_HOME}/etc/Hadoop

7.启动spark

cd $SPARK_HOME

sbin/start-all.sh

8080启动界面

四、hive搭建

1.下载hive

yum -y install wget

cd /opt

wget  https://mirrors.aliyun.com/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

先要启动集群(伪分布式就可以了)

集群运行太慢，伪分布式就够了

2.在master上操作

cd $HADOOP_HOME

sbin/start-dfs.sh  #启动hdfs集群

sbin/start-yarn.sh  #启动yarn集群

3.1derby模式配置

#解压 tar -zxf /opt/apache-hive-3.1.2-bin.tar.gz -C /usr/local/

#配置环境变量HIVE_HOME

vi /etc/profile

文末添加如下内容

export HIVE_HOME=/usr/local/apache-hive-3.1.2-bin

export PATH=$PATH:$HIVE_HOME/bin

#source /etc/profile 使修改生效

直接输入hive启动hive,你会发现报错了。怎么办呢?按照下面步骤继续搞。

#替换hive中落后的文件

cp $HADOOP_HOME/share/hadoop/common/lib/guava-27.0-jre.jar $HIVE_HOME/lib/

rm -f $HIVE_HOME/lib/guava-19.0.jar

4.启动hive-要保证hadoop启动hdfs yarn

切换到/root 目录

初始化hive .

cd ~ #切换到root目录

rm -fr * #删除root下的所有文件,免得干扰初始化

schematool  -initSchema  -dbType derby

 #初始化derby数据库

  • 五、mysql搭建

  • 1.查看当前mariadb的版本

rpm -qa | grep mariadb

rpm -e mariadb-libs-5.5.68-1.el7.x86_64 --nodeps

2.下载安装包

cd /opt

wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.40-1.el7.x86_64.rpm-bundle.tar

3.解压

tar -xf mysql-5.7.40-1.el7.x86_64.rpm-bundle.tar

4.安装包

rpm -ivh mysql-community-common-5.7.40-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-5.7.40-1.el7.x86_64.rpm

rpm -ivh mysql-community-client-5.7.40-1.el7.x86_64.rpm

yum install -y net-tools

yum install -y perl

rpm -ivh mysql-community-server-5.7.40-1.el7.x86_64.rpm

5.启动mysql

systemctl start mysqld如果启动失败，rm -fr Ivar/lib/mysql/* 删除运行痕迹再启动

6.查看临时密码

cat /var/log/mysqld.log | grep password

登录mysql

mysql -u root -p (输入密码)

7．修改密码

#首先需要设置密码的验证强度等级

set global validate_password_policy=LOW;

#设置为6位的密码

set global validate_password_length=6;

#现在可以为mysql设置简单密码了，只要满足六位的长度即可

ALTER USER 'root'@'localhost' IDENTIFIED BY'123456';

#开放mysql root用户外部访问权限，要注意不能把密码设太简单


 

LjyLjz
关注
搭建hadoop集群
qq_44715376的博客
05-24 4334
搭建hadoop集群
Hadoop搭建实验报告
08-02
NULL 博文链接：https://daxiangwanju.iteye.com/blog/1962175
hadoop搭建
王佩健的博客
03-25 3397
Hadoop集群搭建
Hadoop平台搭建
2301_80318716的博客
03-19 2290
一、修改主机名注意*三台机子的名字分别为：master、slave1、slave21.修改主机名分为和： hostname master ( hostname ＋主机名称）： vi / etc / hostname （使用 vi 修改 hostname 中的内到持久修改）2.修改主机名：在Centos7中直接使用root用户执行hostnamectl命令修改hostnamectl set-hostname 主机名重启：reboot（重启后永久生效）
Hadoop环境搭建
美国梦中国心
06-29 6896
Hadoop是一个由Apache基金会所创建的分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题，从广义上来说hadoop是数据存储分包器，可以存储大量的数据。
Hadoop搭建常见问题总结
xcz8023的博客
09-28 1761
Hadoop搭建常见问题总结
hadoop搭建成功的标志
qq_45773650的博客
07-20 3670
加粗样式 针对hadoop搭建成功，小编看网上大多都是主机输入命令jps后，出现五个进程，不包括jps,其实判断的标准并非是这样的。 这与你的配置文件有关。 如有的人运行jps查看只有4个而没有SecondaryNameNode,’ 这是你可能把它配置到从机上了。 如图： 想让自己运行五个也是可以的，简单修改一下这个hadoop配置文件hdfs-site.xml ，默认情况下（就是你不配置），SecondaryNameNode在主机启动，但是看它名字就不想让他在主机启动，毕竟主机开的进程相比从机已经够多了。
基于hadoop搭建Spark环境
weixin_45914112的博客
03-03 3843
基于hadoop搭建Spark环境 需要准备的东西 1. 准备一个配置好的hadoop,master虚拟机 2. 下载下面的三个文件 3. jdk-8u181-linux-x64.tar.gz 4. scala-2.11.1.tgz 5. spark-3.1.2-bin-hadoop3.2.tgz 步骤： 导入虚拟机后打开这个 查看网卡文件 ifconfig -a 修改网络配置 重启网络 重启虚拟机 上传3个压缩包到虚拟机上，笔者全部放在/opt文件夹下 解压到当前文件夹 修改/etc/pr
Hadoop的搭建
a778203081的博客
04-13 3038
hadoop的安装与配置 一：配置Linux免密登录，安装hadoop前要先配置Java 环境变量，点我的主页有详细的配置步骤，这里就不做详细的讲解。 二：下载地址为：链接https://hadoop.apache.org/. 一： 注意：不推荐下载太高版本 ①：关闭防火墙–永久关闭 systemctl stop firewalld systemctl disable firewalld ②：上传Hadoop的压缩包，到Linux下的home路径下，tar -zxvf hadoopx.x.x.tar
hadoop搭建步骤
08-13
Hadoop搭建步骤 Hadoop是一个大数据处理框架，环境搭建是学习Hadoop的第一步，但要成功搭建一个分布式环境，还是颇费些周折的。以下是Hadoop搭建步骤的详细讲解。 一、静态IP配置 在所有机器上手工设置静态IP，...
hadoop搭建文档，含截图和流程。交作业的不二之选
11-21
Hadoop
hadoop搭建1
08-08
"Hadoop 搭建 1" Hadoop 是一种开源的分布式计算框架，它提供了一个可靠、高效、可扩展的数据处理解决方案。本文将指导您从头开始搭建一个 Hadoop 集群，包括安装虚拟机、Linux 操作系统、Hadoop 和 JDK，配置网络...
Hadoop三大组件之HDFS（一）
m0_58076578的博客
09-20 791
HDFS（Hadoop Distributed File System）采用主从架构，由一个NameNode（主节点）和多个DataNode（从节点）组成。NameNode负责管理数据块映射信息（如文件名、文件目录、权限、块位置等）并配置副本策略，而DataNode负责存储实际的数据块。定期从NameNode获取fsimage和edits文件，合并生成新的fsimage文件，发送回NameNode，以减小edits文件大小，防止NameNode重启时加载过多日志。较大文件块减少寻址时间，提高传输效率。
Hadoop 常用生态组件
FLGB
09-20 1714
Flink 独立运行：与 Spark 一样，Flink 支持独立的 Local 模式和 Standalone 模式，不依赖 Hadoop 的 HDFS 或 YARN。：Flink 可以与 HDFS 集成，用 HDFS 作为分布式文件系统来存储和读取大规模数据，特别适用于批处理场景。：Flink 可以通过 YARN 来管理和调度资源，特别适合在共享资源的 Hadoop 集群上运行多个分布式应用时。
基于Hadoop的NBA球员大数据分析及可视化系统
最新发布
计算机学姐的博客
09-26 580
【2025最新】基于大数据可视化+Hadoop+SpringBoot+Vue+MySQL的NBA球员数据分析及可视化系统。
大数据毕业设计选题推荐-安顺旅游景点数据分析系统-Hive-Hadoop-Spark
IT研究室的博客
09-23 1487
近年来，随着国内旅游业的快速发展，旅游逐渐成为大众休闲的重要方式。据文化和旅游部发布的数据显示，2023年中国国内旅游人数已突破50亿人次，旅游总收入接近4万亿元，旅游业在国民经济中的地位日益凸显。特别是地处西南的安顺市，作为贵州省的知名旅游城市，凭借黄果树瀑布、龙宫景区等知名景点，逐渐成为热门旅游目的地之一。安顺市的旅游资源丰富，涵盖了自然风光、历史文化、民族风情等多种旅游元素。随着游客数量的不断增加，安顺旅游产业呈现出强劲的发展势头。
hadoop 搭建
08-22
搭建Hadoop主要包括两个主要部分：Hadoop Distributed File System (HDFS) 和MapReduce。 1. **环境准备**： - 安装Java Development Kit (JDK) - 下载并安装Hadoop，通常选择最新的稳定版本 2. **配置文件**： ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值