Hadoop离线计算（一）之安装并配置Hadoop

最新推荐文章于 2022-01-10 19:38:10 发布
最新推荐文章于 2022-01-10 19:38:10 发布
阅读量490 收藏 2
点赞数
分类专栏： 大数据 hadoop 文章标签： 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stevensam_lin/article/details/83743269
版权

一、准备linux环境

1.0 配置好各虚拟机的网络（采用NAT联网模式）

第一种：通过Linux图形界面进行修改(桌面版本Centos)进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections-> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP：192.168.25.161 子网掩码：255.255.255.0 网关：192.168.25.2-> apply

第二种：修改配置文件方式

vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0
TYPE=Ethernet
UUID=37e6d2fd-3efb-4a33-aebf-fc8e7be64e45
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
HWADDR=00:50:56:25:E7:80
IPADDR=192.168.25.161
PREFIX=24
GATEWAY=192.168.25.2
DNS1=192.168.25.2
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME="System eth0"
1.1修改各个虚拟机主机名

vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=node1
1.2修改主机名和IP的映射关系

vi /etc/hosts

192.168.25.161	node1
192.168.25.162	node2
192.168.25.163	node3
1.3关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
1.4.配置ssh免登陆

生成ssh免登陆密钥

ssh-keygen -t rsa #（四个回车）

执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免密登陆的目标机器上（集群有多少台就需配置多少台，包括本身机器，可用脚本处理）

ssh-copy-id node2
1.5 同步集群时间

常用的手动进行时间的同步
date -s “2018-03-03 03:03:03”
或者网络同步：

yum install ntpdate
ntpdate cn.pool.ntp.org

二、安装JDK

2.1上传jdk
rz jdk-8u65-linux-x64.tar.gz
2.2解压jdk
	tar -zxvf jdk-8u65-linux-x64.tar.gz -C /root/apps
2.3将java添加到环境变量中
vim /etc/profile
#在文件最后添加
export JAVA_HOME=/export/server/jdk1.8.0_144
export PATH=PATH:JAVA_HOME/bin
export CLASSPATH=.:JAVA_HOME/lib/dt.jar:JAVA_HOME/lib/tools.jar
#刷新配置
source /etc/profile

三、安装hadoop2.7.4

上传hadoop的安装包到服务器(此处的路径为自行创建的文件夹/export/server)
hadoop-2.7.4-with-centos-6.7.tar.gz
解压安装包

tar zxvf hadoop-2.7.4-with-centos-6.7.tar.gz

注意：hadoop2.x的配置文件目录：$HADOOP_HOME/etc/hadoop

四、配置Hadoop（重点）

4.1配置hadoop

在hadoop集群中的主节点机器上，跳转到hadoop安装的目录，进入/export/server/hadoop-2.7.4/etc/hadoop目录，修改6个配置文件。

第一个：hadoop-env.sh

此配置主要是为了保证hadoop运行的环境，其实已经配置了javahome，也是可以不配的，但建议配置

vi hadoop-env.sh
export JAVA_HOME=/export/server/jdk1.8.0_144

第二个：core-site.xml(注：在标签中添加)

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://node1:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录,默认/tmp/hadoop-${user.name} -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/export/data/hddata</value>
</property>

第三个：hdfs-site.xml

<!-- 指定HDFS副本的数量 不配置的话,默认为3个-->
<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>
<!--秘书地址-->
<property>
 	<name>dfs.namenode.secondary.http-address</name>
  	<value>node2:50090</value>
</property>

第四个：mapred-site.xml

mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

<!-- 指定mr运行时框架，这里指定在yarn上，默认是local -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

第五个：yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>node1</value>
</property>
<!-- NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序默认值："" -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

第六个：slaves文件，里面写上从节点所在的主机名字

vi slaves
node1
node2
node3
4.2将hadoop添加到环境变量
vim /etc/profile

#在/etc/profile文件中添加以下代码
#hadoop
export HADOOP_HOME=/export/server/hadoop-2.7.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

#重新加载资源
source /etc/profile

附加：上两节的配置需要同步到其他集群机器中，可以使用scp命令处理，如拷贝hadoop到node2

#拷贝hadoop到node2
scp -r /export/server/hadoop-2.7.4 root@node2:/export/server
#拷贝环境变量文件到node2（其他节点机器配置相同）
scp -r /etc/profile root@node2:/etc
4.3格式化namenode（本质是对namenode进行初始化）
hdfs namenode -format #(或者hadoop namenode -format)
4.4启动hadoop
#在hadoop的安装目录下/export/server/hadoop-2.7.4，先启动HDFS
sbin/start-dfs.sh
#再启动YARN
sbin/start-yarn.sh
4.5验证是否启动成功

使用jps命令验证

[root@node1 hadoop-2.7.4]# jps
3729 DataNode
3985 ResourceManager
4085 NodeManager
4699 Jps
3613 NameNode

在浏览器输入以下网址验证

http://192.168.25.161:50070 （HDFS管理界面）

在这里插入图片描述

http://192.168.25.161:8088 （MR管理界面）

在这里插入图片描述

五、Hadoop初体验

5.1 hdfs使用
#简单命令
#查询根目录
hdfs dfs -ls /
#创建新文件夹/hello
hdfs dfs -mkdir /hello
#将文件/root/test.txt放入文件夹/hello中
hdfs dfs -put /root/test.txt /hello

在这里插入图片描述

5.2 mapreduce测试

官方提供了一个jar包可以进行测试，这个包放在/export/server/hadoop-2.7.4/share/hadoop/mapreduce文件夹中，进入该目录中，执行命令即可测试

#计算圆周率
# Number of Maps  = 20
# Samples per Map = 50
hadoop jar hadoop-mapreduce-examples-2.7.4.jar pi 20 50

在这里插入图片描述

Hadoop离线计算——环境搭建（一）
子浩的博客
06-07 5866
环境组成与注意事项 本环境由三台虚拟机组成，一台为主节点，两台台为数据节 点。 IP 主机名 作用 172.16.29.109 master 主节点 172.16.29.117 slave1 数据节点1 172.16.29.121 slave2 数据节点2 根据以上信息修改IP与计算机名 1、修改IP并关闭防火墙 systemctl stop firewalld systemctl disable firewalld 2、关闭Selinux vi /etc/sysconfig/selinux 3、修改ho
HADOOP 离线计算机系统【一】
wzq18845280610的博客
11-20 419
HADOOP 离线计算机系统1.HADOOP背景介绍1.什么是HADOOP1.2 HADOOP产生背景1.3 HADOOP在大数据、云计算中的位置和关系1.4 国内外HADOOP应用案例介绍1.5 HADOOP生态圈以及各组成部分的简介2 分布式系统概述2.1 分布式软件系统(Distributed Software Systems)2.2 分布式软件系统举例：solrcloud2.3 分布式应用系统模拟开发3. 离线数据分析流程介绍3.1 需求分析3.1.1 案例名称3.1.2 案例需求描述3.1.3
离线计算---Hadoop学习
qq_40685915的博客
04-08 1793
Hadoop快速入门 什么是Hadoop?
离线计算系统之Hadoop入门
lixinkuan的博客
07-06 1607
目录 1. HADOOP背景介绍 1.1 什么是HADOOP 1.2 HADOOP产生背景 1.3 HADOOP在大数据、云计算中的位置和关系 1.4 国内外HADOOP应用案例介绍 1.5HADOOP生态圈以及各组成部分的简介 2 分布式系统概述 2.1 分布式软件系统(Distributed Software Systems) 2.2 分布式软件系统举例：solrcloud...
离线计算---Hadoop集群搭建
qq_40685915的博客
04-11 5870
1 集群搭建 本案例Hadoop集群，使用6个服务器节点进行搭建，各节点大体部署的服务如图所示： 2 集群介绍 Hadoop集群，主要包含两个：①HDFS集群；②YARN集群 HDFS集群，主要角色：①NameNode；②DataNode YARN集群，主要角色：①ResourceManager；②NodeManager 各个服务器具体角色分配： HostName 角色 角色 角色 ...
2.1.1 hadoop体系之离线计算-hdfs分布式文件系统-hadoop简介
敲代码的乔帮主
08-02 388
目录 1.Hadoop介绍 2.Hadoop发展简史 3.Hadoop特性优点 4.Hadoop国内外应用 1.Hadoop介绍 Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。 狭义上说，Hadoop指Apache这款开源框架，它的核心组件有： COMMON（公共）：公共工具，支撑其他Hadoop模块 ...
大数据离线分析系统，基于hadoop的hive以及sqoop的安装和配置
03-01
本主题将深入探讨如何构建一个基于Hadoop的大数据离线分析系统，并着重讲解Hive和Sqoop的安装与配置。Hadoop是分布式计算框架，而Hive是基于Hadoop的数据仓库工具，用于数据 warehousing 和 SQL-like 查询。另一方面...
第6章Hadoop分布式离线计算框架-MapReduce
qq_45112156的博客
09-30 932
Hadoop中有两个重要的组件，一个是HDFS，另一个是MapReduce，HDFS用来存储大批量得数据，而MapReduce则是通过计算来发现数据中有价值得内容。 5.1MapReduce概述 hadoop作为开源组织下最重要得项目之一，最推出后得到了全球学术界和工业界的广泛关注、推广和普及。它是开源项目Lucene（搜索索引程序库）和Nutch（搜索引擎）的创始人Doug Cutting于2004年推出的，当时Doug Cutting 发现MapReduce正是其所需...
离线计算系统
02-05
离线计算系统 A. HADOOP分布式集群的平台搭建 B. HADOOP分布式文件系统HDFS的原理理解及使用 C. HADOOP分布式运算框架MAPREDUCE的原理理解及编程 D. Hive数据仓库工具的熟练应用 E. Flume、sqoop、oozie等辅助工具的熟练使用 F. Shell/python等脚本语言的开发能力
CDH5 Hadoop集群完全离线安装说明
08-14
CDH5 Hadoop集群完全离线安装说明
阿里巴巴百家讲坛-大规模离线数据计算-hadoop 高清完整中文版PDF下载
02-26
阿里巴巴百家讲坛-大规模离线数据计算-hadoop 高清完整中文版PDF下载
Hadoop大数据生态系统介绍
lv_hulk的博客
02-12 1269
Hadoop大数据生态系统介绍 1、Hadoop 是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。 2、HDFS Hadoop的分布式文件系统。是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性...
2.1.9 hadoop体系之离线计算-hdfs分布式文件系统-Hadoop数据压缩
敲代码的乔帮主
01-10 197
目录 1.写在前面 2.MR支持的压缩编码 3.压缩配置参数总结 1.写在前面 最近项目中用到了LZO压缩方式，这种压缩方式在hadoop文件中压缩效率非常高，想着hadoop本身也自带了包括default/gzip等压缩方式，这篇文章做一下对比学习，看一下每个压缩方式的使用场景，便于后面选型。压缩本身是为了减轻磁盘IO压力，节省存储资源，但是运用不当的话可能会适得其反，降低性能。 那什么时候才应该使用压缩文件这个优化技巧呢？一般我们将job分为运算密集型job和...
2.2.1 hadoop体系之离线计算-mapreduce分布式计算-mapreduce架构概念
敲代码的乔帮主
09-28 326
线程小程序
06节、离线计算系统_第1天（HADOOP快速入门）
大书童的博客
12-15 443
示例代码下载https://download.csdn.net/download/ieiqny1/10853063 1. HADOOP背景介绍 1.1 什么是HADOOP     1.    HADOOP是apache旗下的一套开源软件平台     2.    HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理     3.    HADOOP的核心组件有...
hadoop记录篇8-cdh5离线安装
liaomin416100569的专栏
04-23 969
一 。CDH简介     CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。    Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集...
离线计算系统之Hadoop环境部署及使用
lixinkuan的博客
01-31 741
四、搭建 4.1 HADOOP集群搭建 4.1.1集群简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起 HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager 部署图如下： 4.1.2服务器准备 本案例使用虚拟机服务器来搭建HADOOP集群，所用软件及版本： Vmwa...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值