大数据学习-大数据环境配置

最新推荐文章于 2024-07-11 16:45:00 发布
最新推荐文章于 2024-07-11 16:45:00 发布
阅读量860 收藏 4
点赞数 3
分类专栏： 大数据 文章标签： zookeeper hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mallolongZuo/article/details/108423789
版权

hadoop环境配置

前置：配置三台CentOS7的机器组成简单的集群

工具：VMware 11 、Xshell、Xftp

压缩包：hadoop-2.6.0-cdh5.14.2.tar.gz

​ jdk-8u141-linux-x64.tar.gz

​ zookeeper-3.4.5-cdh5.14.2.tar.gz

文章目录

一、前置配置

1、IP配置

三台机器修改ip地址：

vi  /etc/sysconfig/network-scripts/ifcfg-ens33

 
BOOTPROTO="static" 

IPADDR=192.168.49.130 

NETMASK=255.255.255.0 

GATEWAY=192.168.49.2

DNS1=8.8.8.8

准备三台linux机器，IP地址分别设置成为
第一台机器IP地址：192.168.49.130
第二台机器IP地址：192.168.49.140
第三台机器IP地址：192.168.49.150

注：49的信息需要根据“虚拟网络编辑器”中的信息进行相应的配置

2、关闭防火墙

三台机器在root用户下执行以下命令关闭防火墙

systemctl stop firewalld
systemctl disable firewalld
3、关闭selinux

三台机器在root用户下执行以下命令关闭selinux 三台机器执行以下命令修改SELINUX，关闭selinux

vi /etc/selinux/config 
SELINUX=disabled
4、更改主机名

三台机器分别更改主机名

第一台主机名更改为：master

第二台主机名更改为：slave1

第三台主机名更改为：slave2

第一台机器执行以下命令修改主机名

vi /etc/hostname

master

第二台机器执行以下命令修改主机名

vi /etc/hostname

slave1

第三台机器执行以下命令修改主机名

vi /etc/hostname

slave2
5、连接Xshell

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

其余两台机器如上述连接

6、更改主机名与IP地址映射

三台机器执行以下命令更改主机名与IP地址映射关系

vi /etc/hosts

192.168.49.130 master
192.168.49.140 slave1
192.168.49.150 slave2
7、同步时间

三台机器执行以下命令定时同步阿里云服务器时间，每隔一分钟同步时间

yum -y install ntpdate
crontab -e
*/1 * * * * /usr/sbin/ntpdate time1.aliyun.com
8、定义同一目录

定义三台linux服务器软件压缩包存放目录，以及解压后安装目录，三台机器执行以下命令，创建两个文 件夹，一个用于存放软件压缩包目录，一个用于存放解压后目录

# 软件压缩包存放目录

mkdir -p /bigdata/soft

# 软件解压后存放目录

mkdir -p /bigdata/install

二、安装JDK

上传压缩包到第一台服务器的/bigdata/soft下面，然后进行解压，配置环境变量即可，三台机器都依次安装 即可

cd /bigdata/soft/
tar -zxf jdk-8u141-linux-x64.tar.gz	-C /bigdata/install/

修改环境变量

vi /etc/profile

#添加以下配置内容，配置jdk环境变量
export JAVA_HOME=/bigdata/install/jdk1.8.0_141 
export PATH=:$JAVA_HOME/bin:$PATH

保存退出后执行

source /etc/profile

三、免密码登录

在三台机器执行以下命令生成公钥与私钥

1.在3 台机器分别执行下面命令

ssh-keygen -t rsa

随后，执行以下命令将公钥拷贝到master服务器上面去

2.在3台机器分别执行以下命令

ssh-copy-id	master

3.master在root用户下，执行以下命令，将authorized_keys拷贝到slave1与slave2服务器

cd /root/.ssh

scp authorized_keys	slave1:$PWD
scp authorized_keys	slave2:$PWD

4.三台机器重启

init 6

四、安装zookeeper集群

注意事项：三台机器一定要保证时钟同步

1、下载zookeeper压缩包

网址：archive.cloudera.com/cdh5/cdh/5/

我们选择zookeeper-3.4.5-cdh5.14.2.tar.gz

下载完成之后，上传到我们的master的/bigdata/soft路径下准备进行安装

2、解压

master执行以下命令解压zookeeper的压缩包到master服务器的/bigdata/install路径下去，然后准备进行安装

cd /bigdata/soft 
tar -zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz	-C /bigdata/install/
3、修改配置文件

进入第一台机器master修改配置文件

cd  /bigdata/install/zookeeper-3.4.5-cdh5.14.2/conf
cp zoo_sample.cfg zoo.cfg

mkdir -p /bigdata/install/zookeeper-3.4.5-cdh5.14.2/zkdatas

vi zoo.cfg

注释掉之前的dataDir

添加如下

dataDir=/bigdata/install/zookeeper-3.4.5-cdh5.14.2/zkdatas

autopurge.snapRetainCount=3

autopurge.purgeInterval=1

server.1=master:2888:3888 
server.2=slave1:2888:3888 
server.3=slave2:2888:3888
4、添加myid配置

在第一台机器的/bigdata/install/zookeeper-3.4.5-cdh5.14.2/zkdatas/ 这个路径下创建一个文件，文件名为myid ,文件内容为1

echo 1 > /bigdata/install/zookeeper-3.4.5-cdh5.14.2/zkdatas/myid
5、安装包分发并修改myid的值

安装包分发到其他机器

第一台机器上面执行以下两个命令

scp -r /bigdata/install/zookeeper-3.4.5-cdh5.14.2/ slave1:/bigdata/install/

scp -r /bigdata/install/zookeeper-3.4.5-cdh5.14.2/ slave2:/bigdata/install/

第二台机器上修改myid的值为2

直接在第二台机器任意路径执行以下命令

echo 2 > /bigdata/install/zookeeper-3.4.5-cdh5.14.2/zkdatas/myid

第三台

echo 3 > /bigdata/install/zookeeper-3.4.5-cdh5.14.2/zkdatas/myid
6、三台机器启动zookeeper服务

三台机器启动zookeeper服务这个命令三台机器都要执行

/bigdata/install/zookeeper-3.4.5-cdh5.14.2/bin/zkServer.sh  start

/bigdata/install/zookeeper-3.4.5-cdh5.14.2/bin/zkServer.sh  status

如果没有成功，可以通过zkServer.sh stop停止后，在重新start试试

五、hadoop集群的安装

安装环境服务部署规划

服务器IP192.168.49.130192.168.49.140192.168.49.150
HDFSNameNode
HDFSSecondaryNameNode
HDFSDataNodeDataNodeDataNode
YARNResourceManager
YARNNodeManagerNodeManagerNodeManager
1、上传压缩包并解压

将hadoop包上传到第一台服务器并解压 第一台机器执行以下命令

cd /bigdata/soft/ 

tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /bigdata/install/
2、查看hadoop支持的压缩方式以及本地库

第一台机器执行以下命令

cd /bigdata/install/hadoop-2.6.0-cdh5.14.2 

bin/hadoop checknative

结果如下：

hadoop: true /bigdata/install/hadoop-2.6.0-cdh5.14.2/lib/native/libhadoop.so.1.0.0

zlib: true /lib64/libz.so.1

snappy: true /lib64/libsnappy.so.1

lz4: true revision:10301

bzip2: true /lib64/libbz2.so.1

openssl: false Cannot load libcrypto.so (libcrypto.so: cannot open shared object file: No such file or directory)!

如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可 以在线进行安装了

yum -y install openssl-devel
3、修改配置文件
1) 修改core-site.xml

第一台机器执行以下命令

cd  /bigdata/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop

vi core-site.xml

用以下替换空的configuration标签

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://master:8020</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/bigdata/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/tempDatas</value>
	</property>
		<!--	缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>
		<!--	开启hdfs的垃圾桶机制，删除掉的数据core可以从垃圾桶中回收，单位分钟   -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>
2) 修改hdfs-site.xml

第一台机器执行以下命令

cd  /bigdata/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop 

vi hdfs-site.xml

用以下替换空的configuration标签

<configuration>
	<!--  NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割	-->
	<!--	集群动态上下线
	<property>
		<name>dfs.hosts</name>
		<value>/bigdata/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/accept_host</value>
	</property>
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/bigdata/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop/deny_host</value>
	</property>
	-->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>master:50090</value>
	</property>
	<property>
		<name>dfs.namenode.http-address</name>
		<value>master:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///bigdata/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/namenodeDatas</value>
	</property>
	<!--	定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多   个目录用，进行分割	-->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///bigdata/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/datanodeDatas</value>
	</property>
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///bigdata/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/edits</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///bigdata/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///bigdata/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
	<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>
3) 修改mared-site.xml

第一台机器执行以下命令

cd  /bigdata/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop


cp mapred-site.xml.template mapred-site.xml


vi mapred-site.xml

用以下替换空的configuration标签

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>master:10020</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>master:19888</value>
	</property>
</configuration>
4) 修改yarn-site.xml

第一台机器执行以下命令

cd  /bigdata/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop

vi yarn-site.xml

用以下替换空的configuration标签

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>master</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>
5) 修改slaves

第一台机器执行以下命令

cd  /bigdata/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop

vi slaves 
slave1
slave2
6) 修改hadoop-env.sh

第一台机器执行以下命令

第一台机器执行以下命令
cd  /bigdata/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop

vi hadoop-env.sh
export  JAVA_HOME=/bigdata/install/jdk1.8.0_141
4、创建文件存放目录

第一台机器执行以下命令

master机器上面创建以下目录

mkdir -p /bigdata/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/tempDatas
mkdir -p /bigdata/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/namenodeDatas
mkdir -p /bigdata/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/datanodeDatas
mkdir -p /bigdata/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/edits
mkdir -p /bigdata/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/snn/name
mkdir -p /bigdata/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/snn/edits
5、安装包的分发

第一台机器执行以下命令

cd /bigdata/install/

scp -r hadoop-2.6.0-cdh5.14.2/ slave1:$PWD
scp -r hadoop-2.6.0-cdh5.14.2/ slave2:$PWD
6、配置hadoop的环境变量

三台机器都要进行配置hadoop的环境变量

三台机器执行以下命令

vi /etc/profile

export HADOOP_HOME=/bigdata/install/hadoop-2.6.0-cdh5.14.2 
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置完成之后生效

source /etc/profile
7、集群启动

要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。

注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的

HDFS 在物理上还是不存在的。

在master上执行以下命令

hdfs namenode -format

如果配置了 etc/hadoop/slaves 和 ssh 免密登录，则可以使用程序脚本启动所有Hadoop 两个集群的相关进程，在主节点所设定的机器上执行。

启动集群

master节点上执行以下命令

start-all.sh
8、浏览器查看启动页面

hdfs集群访问地址

http://192.168.49.130:50070/dfshealth.html#tab-overview

在这里插入图片描述

yarn集群访问地址

http://192.168.49.130:8088/cluster

在这里插入图片描述

注意ip地址是之前配置的，不同的机器不一样

如果能够显示页面说明配置完成

在master上通过以下命令启动日志服务器

mr-jobhistory-daemon.sh start historyserver

有了日志服务器，以后在运行MR出错时，就可以调出错误信息了。

关闭指令如下：

mr-jobhistory-daemon.sh stop historyserver
WeixinX_
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
大数据环境配置
Ahead_J的博客
05-17 409
1. 启动nginx时报错，错误提示如下 nginx: [emerg] invalid port in resolver "fe80::21c:42ff:fe00:18%eth0" in /usr/local/nginx/conf/nginx.conf:123 vim /etc/resolv.conf 得到 # Generated by NetworkManager search loca...
大数据 hadoop
爱驹一族的博客
08-12 429
1.课前资料 https://pan.baidu.com/s/1N2MZEvKxnsBjz6rh0Xkpmw 提取码：44u3 2.课程整体介绍 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fxJ90a9K-1628748843757)(day01_hadoop.assets/1628589606864.png)] 3.大数据介绍 什么是大数据？ 简单来说大数据就是海量数据及其处理。 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据
大数据如何推动工业数字化发展？
最新发布
大腾智能的博客
07-11 953
大数据为企业提供了洞察市场趋势、消费者行为等关键信息的窗口，还为企业优化生产流程、提升产品质量以及推动创新提供了强有力的支持。大数据的广泛应用，正推动着工业数字化向更深层次发展，为企业创造更多的价值和竞争优势。
大数据环境配置专题
wm1992313的博客
08-07 372
环境配置总纲：首先确保各个机器能够互相ping通，配置本地的yum源（为了在没有外网的情况下也能正常安装一些包），然后将hadop的jiar包解压至目录，在配置hadoop前，最好先设置机器之前的免密登陆否则hadoop的nodemanager和yarn的resourcemannager无法正常使用，在配置免密登陆时，注意最好普通用户的免密登陆和root用户的免密登陆都要配置。在第一次启动hado...
零基础搭建Hadoop大数据处理-环境
weixin_34265814的博客
08-01 317
由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMware Workstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知识介绍。 VMware的安装，装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机，省时省力，需要注意的是需要修改每个虚拟机的IP与主机名。 所有虚拟机采...
大数据环境配置浅谈二
weixin_44431083的博客
01-08 173
大数据环境配置浅谈二 大数据集群环境准备 三台虚拟机关闭防火墙 service iptables stop chkconfig iptables off 2. 三台机器关闭selinux vim /etc/selinux/config 3. 三台机器更改主机名 vim /etc/sysconfig/network 4. 三台机器做主机名与IP地址的映射 vi...
大数据lab1-Linux实验环境配置.pdf
10-31
本实验旨在通过配置Linux环境，为大数据技术的学习打下基础。实验采用的操作系统是Ubuntu 20.04，搭配JDK 1.8.0_261版本，以及远程连接工具Putty 0.74和FTP客户端FileZilla Client 3.50.0。 实验内容主要分为三个...
大数据---电商数据分析.zip
01-11
在当前的数字化时代，大数据已经成为了企业决策的重要驱动力，特别是在电商行业中，通过对海量数据的分析，企业可以深入了解...通过理解并实践这个项目，开发者和分析师能够提升自己在大数据环境下解决电商问题的能力。
3 大数据基础 - MapReduce
12-20
HDFS 的应用场景非常广泛，如数据仓库、数据挖掘、机器学习、自然语言处理等领域都可以使用 HDFS 存储和处理大规模数据。HDFS 的优点是高效、可靠、可扩展，可以满足大规模数据处理的需求。 使用 Java 编写 HDFS ...
大数据开发--hadoop全套学习课程--百度网盘
03-23
在大数据环境中，Redis可以提升数据处理速度，支持实时数据分析。 这个压缩包中的学习资料和视频将帮助你理解这些工具的工作原理、安装配置、操作使用以及最佳实践。通过深入学习，你将能够掌握如何利用这些技术...
大数据lab1-Linux实验环境配置 (2).pdf
10-31
**三、Java环境配置** 1. 下载Oracle JDK的tar.gz压缩包并解压到 `/usr/lib/jvm` 目录。 2. 设置环境变量，如在`/etc/profile`或`~/.bashrc`中添加如下内容： ``` export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_261 ...
大数据环境配置文件hdfs
12-13
hdfs hadoop配置的参数文件。 如何在虚拟机配置 hdfs的 xml参数文件。
全网最全大数据集群环境配置
勇敢牛牛，不怕困难！
08-20 1789
包含hadoop，flume，kafka，hbase，zookeeper，mysql，tomcat，redis的部署流程，适用于单个环境的安装和项目集群环境的安装。
大数据学习之路（电脑配置）
weixin_54201782的博客
09-24 1752
我最初的想法是看我的笔记本的内存能不能扩容，于是计划好第二天去学校外面的电脑维修中心，想着把我的笔记本的内存和固态硬盘空间给扩大一下就好了，准备好了之后，啥也没想，就把电脑送给师傅，师傅说你是想要扩容，是硬盘空间还是内存空间，我…因为一旦我点击了这个运行键，我的电脑会为了迎接我的点击从而燃起来了。一想到大数据，我们可能想到的是大数据可视化平台，展示的有多么的炫酷，可是你可能没有想到的是大数据中数据的存储，数据的计算（mapreduce）会是有多么的漫长，下面我们来看图。
1.大数据环境以及相关参数配置解读
sandy
03-21 292
1.首先进入hadoop的平台进行一个相关的展示操作： 这里目前用的是已经安装好的hadoop的版本，进行相关的操作： 转移到相关的hadoop的安装目录下进行相关的操作： 相关的路径，如下所示： 进行一个hadoop的相关的目录的一个展示操作： 下面依次去解释一下相关的各个目录的一些含义的，作用，以及未来会使用的一些方式。 与此同时也是进行一个相关的从节点的相关的配置方式...
大数据环境搭建
chen66688的博客
10-18 1877
hadoop集群搭建,mysql安装教程，Hive安装，超详细
大数据应用开发1——配置基础环境
weixin_64815719的博客
12-25 544
创建模板机
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值