Hadoop软件集群部署

最新推荐文章于 2024-09-04 17:00:17 发布
最新推荐文章于 2024-09-04 17:00:17 发布
阅读量195 收藏 2
点赞数 1
分类专栏： hadoop 文章标签： hadoop hdfs mapreduce
believer
本文链接：https://blog.csdn.net/qq_40873718/article/details/105488915
版权

目录

Hadoop软件集群部署

一、用户、用户组的创建及sudo权限的配置

1.1、用户相关操作

1.1.1、用户的添加
useradd hadoop1
1.1.2、用户的切换
su hadoop1
1.1.3、用户的删除
userdel hadoop1

1.2、用户组相关操作

1.2.1、用户组的添加
groupadd hadoop
1.2.2、用户组的删除
groupdel hadoop

1.3、sudo权限配置

1.3.1、用户配置sudo权限
su root
visudo
# 拉直文件最底部，添加代码
hadoop1 ALL=(ALL) NOPASSWD:ALL
# 在hadoop1用户下，当前权限不够时，如下使用
sudo visudo

二、虚拟主机名的配置

2.1、查看虚拟主机名

hostname

2.2、修改主机名（临时，重启后无效）

hostname zzm

2.3、修改主机名（永久性）

2.3.1、方法一
hostnamectl set-hostname hadoop1
2.3.2、方法二
vi /etc/hostname

三、关闭防火墙

3.1、查看防火墙状态

systemctl status firewalld.service

执行后可以看到绿色字样标注的active（running），说明防护墙开启状态

3.2、关闭运行的防火墙

systemctl stop firewalld.service

3.3、查看防火墙状态

systemctl status firewalld.service

可以看到，disavtive（dead）的字样，说明防火墙已经关闭

3.4、禁止防火墙开启

systemctl disable firewalld.service

四、相关服务的安装

yum install -y lrzsz
yum install -y openssh-clients

五、主机名和IP之间的对应关系

vi /etc/hosts
  • 添加如下内容
192.168.64.141 hadoop1

六、配置SSH免密码登录

6.1、生成秘钥

# 一路回车
ssh-keygen -t rsa

6.2、进入生成秘钥文件夹

cd /home/hadoop1/.ssh

6.3、将公钥复制到文件夹中

cp id_rsa.pub authorized_keys

6.4、为hadoop1用户配置密码

sudo passwd hadoop1

6.5、测试ssh

ssh hadoop1

七、安装部署JDK

八、安装部署hadoop

8.1、上传hadoop压缩包并解压

scp hadoop-2.6.0.tar hadoop1:192.168.64.143:/home/hadoop1/software
tar -zxvf hadoop-2.6.0.tar

8.2、创建文件夹

mkdir /usr/hadoop
mv hadoop-2.6.0 /usr/hadoop

8.3、配置环境变量

8.3.1、编辑配置文件
vi /etc/profile
8.3.2、添加如下内容
export HADOOP_HOME=/usr/hadoop/hadoop-2.6.0                      
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
8.3.3、刷新配置文件
source /etc/profile

8.4、配置hadoop配置文件

8.4.1、进入hadoop指定目录
/usr/hadoop/hadoop-2.6.0/etc/hadoop
8.4.2、修改配置文件

  • core-site.xml

    <configuration>
	<property>
		<name>fs.defaultFS</name>                                                                                              
		<value>hdfs://hadoop1:9000</value>                                                                              
	</property>
	                                                                                                     
	<property>                                                                                                                      
		<name>io.file.buffer.size</name>                                                                                        
		<value>131072</value>                                                                                           
	</property>
	                                                                                                             
	<property>                                                                                                                      
		<name>hadoop.tmp.dir</name>                                                                                             
		<value>file:/data/tmp</value>
	</property>
	
	<property>                                                                                                                      
		<name>hadoop.proxyuser.hadoop.hosts</name>
		<value>*</value>                                                                                                
	</property>
	
	<property>
		<name>hadoop.proxyuser.hadoop.groups</name>                                                                             
		<value>*</value>
	</property>
</configuration>

  • hdfs-site.xml

    <configuration>
	<property>
		<name>dfs.namenode.name.dir</name>                                                                                     
		<value>/data/dfs/name</value>                                                                                           
		<final>true</final>                                                                                             
	</property>   
                                                                                                                          
	<property>                                                                                                                      
		<name>dfs.datanode.data.dir</name>                                                                                      
		<value>/data/dfs/data</value>                                                                                           
		<final>true</final>                                                                                             
	</property>
	
	<property>
		 <name>dfs.replication</name>
		 <value>1</value>                                                                                                	
	 </property>
	 
	<property>
		 <name>dfs.permissions</name>
		 <value>false</value>
	</property>
</configuration>

  • mapred-site.xml

    <configuration>
	<property>                                                                                                                      
		<name>mapreduce.framework.name</name>                                                                                   
		<value>yarn</value>                                                                                             
	</property>                                                                                                     
</configuration>

  • yarn-site.xml

    <configuration>
	<property>                                                                                                                      
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>                                                                                                     
</configuration>

  • 配置jdk位置

    cd /usr/hadoop/hadoop-2.6.0/etc/hadoop
vi hadoop-env.sh

    修改内容如下：

    export JAVA_HOME=/usr/java/jdk1.8.0_11

  • slaves：填写从节点主机名

8.4.3、创建数据文件夹
sudo mkdir /data/dfs/name -p
sudo mkdir /data/dfs/data -p
sudo mkdir /data/tmp -p
8.4.4、修改权限
cd /
sudo chown -R hadoop1:hadoop1 /data

九、格式化NameNode

cd /usr/hadoop/hadoop-2.6.0/bin/
./hadoop namenode -format

十、启动hadoop集群

cd /usr/hadoop/hadoop-2.6.0/sbin/

./start-all.sh
  • 查看进程
    jps
    出现如下五个经常，表示hadoop启动成功
    在这里插入图片描述
  • hdfs：http://192.168.64.143:50070/
  • yarn：http://192.168.64.143:8088/

十一、测试(运行wordcount)

  • 创建word.txt，内容如下

    hello world
hello zzm
hello believer
hello zhuzhaoman

  • 将word.txt上传到hdfs中

    hadoop fs -put ./word.txt /

  • 进入指定目录

    cd /usr/hadoop/hadoop-2.6.0/share/hadoop/mapreduce

  • 运行

    hadoop jar ./hadoop-mapreduce-examples-2.6.0.jar wordcount /word.txt /out

  • 查看结果

    hadoop fs -cat /out/part-r-00000
believer-zzm
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop集群部署
u013420833的专栏
03-16 507
Hadoop集群分布式安装 1.Hadoop简介 2 2.环境说明 4 3.ubuntu下安装JDK 5 4.安装ssh服务 6 5.安装hadoop 7 6.常用端口配置 12                                       1.Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以...
Hadoop集群部署
weixin_44729445的博客
08-25 163
版本 JRE：jdk-8u45-linux-x64.gz hadoop：hadoop-2.6.0-cdh5.15.1.tar.gz zookeeper：zookeeper-3.4.6.tar.gz 基本操作 1、创建hadoop用户并切入 [root@ruozedata001 ~]# useradd hadoop [root@ruozedata001 ~]# su - hadoop 2、创建目录...
集群软件部署
hello_helloworld的博客
03-12 1039
Zookeeper、Hadoop、Spark下载安装教程，集群软件安装前置准备、JDK下载安装、防火墙配置、SELinux设置、ssh设置、scp使用教程，集群软件安装笔记。Hadoop运行无法连接子节点问题分析解决
大数据Hadoop系列之Hadoop分布式集群部署
热门推荐
飞翔的博客
05-11 44万+
一、部署规划 1、部署环境 各部署单元的软件部署情况如下： 二、环境准备 1、修改主机名 [root@VM1 ~]# vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=master60 [root@VM2 ~]# vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=slave...
hadoop部署工具与配置工具
weixin_34075551的博客
03-06 129
https://github.com/xianglei/phpHiveAdmin 随着Hadoop的推出，大数据处理实现了技术上的落地。但是对于一般的公司和开发者而言，Hadoop依旧是一个陌生或者难以使用的技术。这次的阿里云开发者大会上，向磊凭借EasyHadoop将Hadoop平民化而获得了最佳创意奖，InfoQ对他进行了采访。 InfoQ： 首先请您做下自我介绍并介绍本次的参赛作品Eas...
hadoop的部署
windowsworld的博客
08-18 864
1.hadoop本地部署 1.建立hadoop用户，并且设置密码 [root@server5 ~]# useradd -u 1000 hadoop [root@server5 ~]# passwd hadoop 2.以hadoop用户使用hadoop与java的压缩包 [root@server5 ~]# ls hadoop-3.0.3.tar.gz jdk-8u181-linux-x64.ta...
HadoopHA集群部署、规划HadoopHA集群教学课件.pptx
06-20
总结来说，Hadoop HA集群部署涉及多个层面，包括硬件规划、软件配置、网络设置以及安全策略等。正确配置和管理这些组件，能确保Hadoop集群在面对单点故障时仍能提供稳定的服务，提高整体系统的可靠性。
Hadoop集群搭建部署与MapReduce程序关键点个性化开发.doc
02-26
首先，我们来看任务1——Hadoop集群的部署。这一步至关重要，因为它为整个大数据处理系统提供了基础架构。在虚拟机中安装Ubuntu Kylin 16.04.4是常见的选择，因为这是一个稳定且支持Hadoop的Linux发行版。安装完成后...
云计算Hadoop：快速部署Hadoop集群
07-23
资源名称：云计算Hadoop：快速部署Hadoop集群内容简介： 近来云计算越来越热门了，云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源，并按使用量付费。可以...
hadoop安装部署说明文档
12-26
包括hadoop在Linux下集群安装和配置，以及windows下使用的配置说明，包括windows下面所需要的bin文件，包含了hadoop核心配置文件的各种属性说明
部署全分布模式Hadoop集群 实验报告
04-18
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...
基于Hadoop的集群部署与管理系统的设计与实现毕业论文（62页27073字数）.doc
06-28
《基于Hadoop的集群部署与管理系统的设计与实现》这篇毕业论文详细探讨了在大数据背景下，如何设计并实现一个高效、自动化、可扩展的Hadoop集群部署管理系统。文章以作者在中国移动软件研发中心的实际项目经验为背景...
hadoop部署
qq_36459386的博客
11-01 215
Hadoop: 广义: 以hadoop软件为主的生态圈 狭义: hadoop软件 hadoop.apache.org hive.apache.org spark.apache.org flink.apache.org hadoop软件: 1.x 2.x 生产 2.6 3.x hadoop2.x组件: hdfs: 存储 分布式文件系统 底层 生产 hive/hbase mapreduce: 分...
软件架构-zookeeper集群部署与快速入门
IT架构圈博客
03-29 338
目前的公司是使用的阿里内部的dubbo，也就是EDAS，里面用了阿里自己的EDAS服务，如果是使用过dubbo的老铁，应该知道zookeeper，zookeeper在大数据和RPC通信上应用比较管饭。不管用过zookeeper没有，这次主要是介绍下zookeeper和集群的部署。这个必须要实际操作下，才能理解的深刻。 源码：https://github.com/limingios/netFuture/ 【zookeeper】 （一）介绍zookeeper 历史 Zookeeper 最早起源于雅.
Hadoop2.7.2分布式部署3(安装部署hadoop分布式)
fxsdbt520的博客
03-10 820
Hadoop2.7.2分布式部署3(安装部署hadoop分布式)
Web服务器群集：部署Tomcat
cronaldo91的博客
06-27 1431
Tomcat服务器作为一个免费的开放源代码的Web应用服务器，技术先进、性能稳定，而且免费，其运行时占用的系统资源小，扩展性好，且支持负载平衡与邮件服务等开发应用系统常用的功能。作为一个小型的轻量级应用服务器，Tomcat在中小型系统和并发访问用户不是很多的场合下被普遍使用，因此也成为目前比较流行的Web应用服务器。
高性能集群软件-----Keepalived 安装配置
chuange6363的博客
08-14 137
keepalived介绍： Keepalived是Linux下轻量级的高可用的解决方案。Keepalived主要是通过虚拟路由冗余来实现高可用功能，具有部署和使用非常简单，只需一个配置文件即可。它是根据TCP/IP参考模型的第三，第四和第五层交换机检测到每个服务接点的状态，如果某个服务节点出...
Hadoop vs Spark
最新发布
小月肖的博客
09-04 985
Spark和Hadoop比较
Hadoop2.6.5集群部署教程：CentOS6.8环境
"Hadoop2.6.5在CentOS6.8版本下的集群部署文档，由孔宏涛撰写，日期20170915，由www.eimhe.com美河学习在线收集分享。该文档详细介绍了在CentOS6.8系统上部署Hadoop2.6.5集群的步骤，包括硬件配置、系统需求、目录...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值