Hadoop ~1：安装（包括集群）与简单的配置

最新推荐文章于 2020-11-03 23:29:54 发布
最新推荐文章于 2020-11-03 23:29:54 发布
阅读量952 收藏 1
点赞数
分类专栏： 大数据之组件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cai_and_luo/article/details/106176318
版权

Hadoop ~1：安装与简单的配置


本文用的是hadoop-2.6.0-cdh5.14.2.tar.gz

一：首先在虚拟机中进行解压

tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C ../bigdata

二：配置Hadoop ./etc/hadoop目录下的文件

配置hadoop-env.sh

# The java implementation to use.
export JAVA_HOME=/opt/greeinstall/jdk18111

配置core-site.xml （配置完此步，需要在hadoop260目录下建hadoop2目录）

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://192.168.56.137:9000</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/greeinstall/hadoop260/hadoop2</value>
</property>
<property>
   <name>hadoop.proxyuser.root.hosts</name>
   <value>*</value>
 </property>
<property>
   <name>hadoop.proxyuser.root.groups</name>
   <value>*</value>
 </property>
</configuration>

配置hdfs-site.xml

<configuration>
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>lijia1:50090</value>
</property>
</configuration>

配置mapred-site.xml

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>HostName:10020</value>
</property>
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>HostName:19888</value>
</property>
</configuration>

配置yarn-site.xml

<configuration>
<!-- reducer获取数据方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>HostName</value>
</property>
<!-- 日志聚集功能使用 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
</configuration>

配置vi ./slaves

localhost

3.2Hadoop环境变量配置

vi /etc/profile
export HADOOP_HOME=/opt/greeinstall/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

刷新环境变量

source /etc/profile

启动之前：
需要更改主机名 hostname
hostnamectl set-hostname 主机名
需要 vi /etc/hosts 然后把自己本机的id地址和主机名写上
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.101.200 test200

还需要配置一下ssh免密服务
可以 hadoop fs -put ./*** / 上传，但不能打开WEB 50070,需要关闭防火墙

格式化HDFS (第一次启动要格式化，以后定期删除日志就好)

hadoop namenode -format

启动hadoop

start-all.sh
启动历史服务
[root@qx1 hadoop]# mr-jobhistory-daemon.sh start historyserver

在这里插入图片描述

配置native（可以进行配置，也可以不配置）

如果你也是hadoop2.6的可以下载下面这个：
　　http://dl.bintray.com/sequenceiq/sequenceiq-bin/hadoop-native-64-2.6.0.tar
若是其他的hadoop版本，下载下面这个:
http://dl.bintray.com/sequenceiq/sequenceiq-bin/hadoop-native-64-2.*.0.tar
在这里插入图片描述
在这里插入图片描述
[hadoop@djt002 native]$ tar -xvf hadoop-native-64-2.6.0.tar -C H A D O O P H O M E / l i b / n a t i v e [ h a d o o p @ d j t 002 n a t i v e ] HADOOP_HOME/lib/native [hadoop@djt002 native] HADOOPH​OME/lib/native[hadoop@djt002native] tar -xvf hadoop-native-64-2.6.0.tar -C $HADOOP_HOME/lib
以上，这两个命令都要执行。
自检hadoop checknative –a 指令检查

三：访问Hadoop

http://192.168.56.137:50070 HDFS页面

在这里插入图片描述
http://192.168.56.137:8088 YARN的管理界面

在这里插入图片描述
http://192.168.56.126:19888/

在这里插入图片描述

四：配置Hadoop 集群（需要先配置虚拟机之间的免密服务）

准备

Hadoop的集群部署和单节点部署类似，配置文件不同，另外需要修改网络方面的配置
　　首先，准备3台虚拟机，系统为CentOS 7，其中一台为namenode 剩余两台为 datanode；
　　修改主机名主节点为：hadoopha，数据节点主机名分别为hadoop1、hadoop2

本例中这3台虚拟机处于同一个局域网，网络连接设置为桥接，ip地址分别为是hadoopha为：192.168.1.42，hadoop1为：192.168.1.78、hadoop2为：192.168.1.44，实际中可以设置静态ip为连续的
　　然后修改hosts网络指向，用vim /etc/hosts打开文件，后面添加3行记录：

   192.168.1.42 hadoopha
　　192.168.1.78 hadoop1
　　192.168.1.44 hadoop2

然后保存退出

在这里插入图片描述
　上面那些localhost指向不用改，新添加3行即可，这三台主机都要修改hosts文件保持一致

以上是主机之间网络通信的基础，接下来在hadoopha上单独配置hadoop环境，hadoop1和hadoop2不用安装hadoop，只有jdk即可

同样把hadoop解压到指定目录，配置一下HADOOP_HOME到环境变量中，然后进入hadoop安装目录，修改配置

执行vim etc/hadoop/hadoop-env.sh

把JAVA_HOME前面的注释去掉，值改成jdk的安装目录，并保存

在这里插入图片描述

执行vi etc/hadoop/core-site.xml

在之间添加如下配置：

<property> 
<name>fs.defaultFS</name> 
<value>hdfs://hadoopha</value>
</property> 
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop</value>
</property> 
<property>
<name>dfs.name.dir</name>
<value>/usr/hadoop/name</value>
</property>
执行vim etc/hadoop/hdfs-site.xml，同样位置添加如下配置：
 <property> 
      	   <name>dfs.replication</name> 
    	   <value>2</value>  
</property>   
<property>     
	     <name>dfs.namenode.name.dir</name>          	<value>file:///usr/hadoop/hdfs/name</value>   
</property>   
<property>    
 	   <name>dfs.datanode.data.dir</name>         				
<value>file:///usr/hadoop/hdfs/data</value>  
</property>   
	  <property>    
 	   <name>dfs.nameservices</name>       
 	 <value>hadoopha</value>    
 </property>

第一个配置项是datanode的节点数，这里是2个，就算这里写3也不起什么作用，因为不能超过实际的最大节点数，其中的存放目录可以自己定义

执行vim etc/hadoop/mapred-site.xml，同样位置添加如下配置：
<property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
</property>
执行vim etc/hadoop/yarn-site.xml，添加如下配置：
<property> 
        <name>yarn.resourcemanager.hostname</name> 
        <value>hadoopha</value> 
</property> 
<property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
</property>
<property>
         <name>yarn.resourcemanager.address</name>
         <value>hadoopha:8032</value>
</property>
<property>
         <name>yarn.resourcemanager.scheduler.address</name>
         <value>hadoopha:8030</value>
</property>
<property>         	<name>yarn.resourcemanager.resource-tracker.address</name>         		
<value>hadoopha:8031</value>
</property>
<property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>hadoopha:8033</value>
</property>
<property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>hadoopha:8088</value>
</property>
编辑slaves文件，执行etc/hadoop/slaves

之前默认只有一行内容localhost，把之前的删除添加下面配置：
hadoop1
hadoop2

到这里文件就配置完了，

然后退到上一层目录，把配置好的hadoop目录和profile发送到hadoop1和hadoop2中（需要在datanote上刷新profile）
$ scp -r /opt/bigdata/hadoop260/ root@ware2:/opt/bigdata/
$ scp -r /etc/profile root@ware2:/etc/      (需要source /etc/profile)

这样三个主机的hadoop文件就实现了同步，然后格式化namenode节点
bin/hadoop namenode -format
　　只对主节点hadoopha进行格式化即可，格式化之后启动hadoop
sbin/start-all.sh
　　等待hadoop集群运行起来，然后用jps命令分别查看3个主机的hadoop进程

hadoopha运行NameNode:
在这里插入图片描述
　hadoop1和hadoop2运行DataNode:

在这里插入图片描述
这时候hadoop集群就启动成功了，然后打开浏览器通过web访问主节点可以管理集群
　　HDFS管理：http://192.168.1.42:50070/
在这里插入图片描述

可以看到详细的参数
　　Map/Reduce管理：http://192.168.1.42:8088/
在这里插入图片描述
　可以看到详细的作业情况，和具体哪台机器的作业的情况
　　通过命令行：bin/hdfs dfsadmin -report可以查看集群的运行状态
　　需要注意：
　　1、在hadoop2.x系列版本中，hdfs默认文件直接存放在根目录下，不在和1.x一样存放在/user/root/下了
　　2、执行hdfs操作文件系统所有的命令时，比如bin/hdfs dfs -ls /会报错：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

在这里插入图片描述
　虽然不影响使用，原因是从apache官网下载的hadoop-2.6.0.tar.gz是在32位机器上编译的，而集群机器是64位的，所以加载.so文件时出错，但是不影响使用，解决办法是下载64位编译包，解压到hadoop安装目录下lib/native下更新文件即可
在这里插入图片描述

因为是./所以直接解压到本目录下，不用进行其他任何操作就可以了，下载链接：http://dl.bintray.com/sequenceiq/sequenceiq-bin/hadoop-native-64-2.6.0.tar

接下来使用WordCount例子来测试集群的运行：

首先进入hadoop安装目录，执行下面命令测试：
$ mkdir input
$ echo “Hello world bye jj” >> file1
$ echo “Hello Hadoop bye hadoop” >> file2
$ bin/hdfs dfs -mkdir /input
$ bin/hdfs dfs -put input/* /input

这样文件就上传到了HDFS文件系统中，执行下面命令开始运行作业
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /input /output

在这里插入图片描述

然后等待作业执行完毕，完毕之后可以使用命令bin/hdfs dfs -ls /output/查看是否生成结果文件，使用cat查看文件内容即可
bin/hdfs dfs -cat /output/part-r-00000

在这里插入图片描述

可以看到，结果正确的输出了，到这里基本的hadoop集群就部署完成了

5.测试

5.1HDFS
[root@qx1 ~]# hdfs dfs -mkdir /input2
[root@qx1 ~]# hadoop fs -mkdir /input3

[root@qx1 ~]# hdfs dfs -ls /
[root@qx1 ~]# hadoop fs -ls /

[root@qx1 ~]# hadoop fs -put ./wordcount.csv /input2
[root@qx1 mapreduce2]# hadoop fs -put /root/wordcount.txt /input2
[root@qx1 mapreduce2]# hadoop fs -rm /input2/*.csv

[root@qx1 mapreduce2]# hadoop jar ./hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar wordcount /input2 /outputcsv

[root@qx1 mapreduce2]# hadoop fs -cat /outputcsv/part-r-00000

蔡大远
关注
专栏目录
libVLC 在视频上叠加透明窗体
青春不老，奋斗不止！
05-23 4275
在做多媒体开发时，很多时候需要在视频中添加一些“额外的装饰”，像图片、文字、或者一些其他图形形状，这使得显示效果更加丰富。
HADOOP集群搭建及配置(大数据学习1)
逆流而上Mr李
12-19 1535
4.1 HADOOP集群搭建 4.1.1集群简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起 HDFS集群： 负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群： 负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager (那mapred...
Hadoop启动命令
yywdys的博客
12-04 1万+
下载hadoop并解压 配置hdfs 修改配置文件etc/hadoop/hadoop-env.sh JAVA_HOME=/home/middleware/jdk 修改配置文件etc/hadoop/core-site.xml <configuration> <property> <name>fs.defaultFS</...
Ubuntu 搭建Hadoop单节点
专注基础架构领域
01-09 1089
一、安装JDK Ubuntu 安装Jdk1.8 二、安装并配置ssh免密登录 hadoop需要使用SSH的方式登陆，linux下需要安装SSH。客户端已经安装好了，一般只需要安装服务端就可以了： 在安装之前，还是先查看系统是否已经安装并且启动了ssh。 # 查看ssh安装包情况 dpkg -l | grep ssh # 查看是否启动ssh服务 ps -e | grep ssh 如果没...
java克鲁斯卡尔(kruskal)最小生成树代码实现
DrugHua的博客
05-16 995
import java.util.Arrays; /** * @author Drug * @create 2020-05-16 12:01 */ public class Kurskal { //边数 private int edgeNum; //顶点信息 private char[] vertexs; //权值矩阵 private int[][] matrix; //表示无法连通的最大值 private static final i
进阶，Mybatis-Plus代码生成器
u010679782的博客
05-22 1276
写在开始:一个搬砖程序员的随缘记录 AutoGenerator 是 MyBatis-Plus 的代码生成器，通过 AutoGenerator 可以快速生成 Entity、Mapper、Mapper XML、Service、Controller 等各个模块的代码，极大的提升了开发效率。 Mybatis-Plus代码生成器方便的是可以自定义生成代码的模板，可以根据每个项目的不同配置不同的模板，也可以配置一个通用的进行简单的修改 文章目录一、准备工作1、创建数据库2、创建一个SpringBoot项目3、pom.
基于Ubuntu的Hadoop简易集群安装与配置
08-19
### 基于Ubuntu的Hadoop简易集群安装与配置知识点详解 #### 一、绪论 ##### 1.1 研究背景及意义 在当前信息化社会中，随着科技的发展与进步，尤其是互联网技术的普及，我们正处在一个数据爆炸的时代。各行各业都在...
Hadoop入门教程：安装配置与数据分析
1. **Hadoop安装与管理**： 学习者需要能够独立完成Hadoop的安装，并熟悉其配置和管理。这包括设置环境变量、配置Hadoop的各个组件（如HDFS和YARN），以及监控Hadoop集群的状态。 2. **数据传输**： 熟练掌握在...
详述Hadoop集群安装：从配置到测试
"本文档详细介绍了在5台虚拟机上安装Hadoop集群的步骤，包括配置hosts文件、检查环境、创建用户、配置VNC服务、SSH服务、JDK以及Hadoop，部署远程datanode，启动Hadoop，进行HDFS操作和Hadoop的jar命令测试。...
Hadoop入门教程：安装配置与实践详解
Hadoop教程深入介绍了Hadoop这个开源的...学习Hadoop教程意味着掌握从基础原理到实际操作的全过程，包括安装配置、环境准备、文件系统管理以及分布式计算的实施。这对于大数据分析、云计算等领域的工作都具有重要意义。
kylin（一）介绍 编译 与 单节点测试
lihuazaizheli的博客
06-29 1429
文章目录1. kylin的产生背景1.1 传统数仓会遇到的问题：1.2 kylin核心设计理念的诞生的过程：2.kylin的发展历史3.kylin技术架构3.1 数据源3.2 核心模块4.kylin核心概念4.1 维度/度量：4.2 cube/cuboid4.3 segment5.kylin目录：6.kylin部署架构7.sample_cube体验8.kylin的编译8.1 nodejs安装8.2 bower安装8.3 phantomjs安装8.4 pom.xml文件修改 cdh5.7 ==>
算法入门之基本数据结构:链表
热门推荐
姑苏城外（り寂寞
05-16 2万+
前面我们简单的对队列和栈有了个了解，今天我们还要将一种数据结构，Java中很多集合类都是由这几种数据结构演变而来的，除了队列和栈还有我们今天要说的链表，链表其实还是蛮复杂的，在C中有个指针用来实现，很多人说java不存在指针概念，是不是就不能实现链表呢，答案是否，java虽然没有指针但是有对象的引用，我们先看看java中怎么实现链表,然后再来具体分析链表到底是一种怎样的数据结构 代码模拟链表: public class MyLinkList { // 使用数组模拟单向链表 pub...
hadoop使用学习笔记（1）
weixin_42373888的博客
09-24 826
Hadoop作为一种用于分布式集成数据库的工具，在如今的大数据处理时代显得越来越加重要，作为一个第一次接触Hadoop小白，在Hadoop安装和相关配置上不可避免地要踩坑（当然了，踩坑也是我们学习进步的一个必经之路），笔者将这两天安装Hadoop的过程,心得和踩的坑一一记录下来，方便以后的学习总结： 第一步安装相应的虚拟机和Ubuntu（） 第二步配置相应的JDK环境 配置jdk环...
hadoop伪分布模式配置
weixin_30279315的博客
08-09 205
1. 伪分布配置 实验条件：1台ubuntu服务器，jdk版本1.8.X，Hadoop 版本1.2.X 1.1 ssh localohost 如果不输入口令就无法用ssh登陆localhost，即ssh免密登陆，则执行下面的命令，产生公私钥对， 将私钥放入authorized_keys $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~...
http://www.guccioutletcheaper.com 18
congashuang3011的博客
06-04 9052
item ?n n? So it is the time for us to wear the comfortabletory burch shoes That way you will be sure that you h...
Hadoop学习<一>--hadoop安装和环境变量设置
zeb_perfect的专栏
12-07 1万+
Hadoop核心项目：HDFS（Hadoop Distributed File System分布式文件系统），MapReduce（并行计算框架） HDFS架构的主从结构：主节点，只有一个namenode，负责接收用户操作请求，维护文件系统的目录结构，管理文件与block之间关系，block与datanode之间的关系。 从节点，有很多个datanodes，负责存储文件，文件被分成block存储
Hadoop组件学习(一) —— 单点与集群的配置
nan3205的博客
05-24 566
一、Hadoop核心组件 1.分布式文件存储系统HDFS(Hadoop Distributed File System) 2.资源管理系统YARN(Yet Another Resource Negotiator) 3.分布式计算框架MapReduce 二、Hadoop安装 支持平台 ： Windows也是受支持的平台，但以下步骤仅适用于Linux Linux所需要的软件包括 1. 必须安装java，Hadoop的2.7版(含2.7)和更高...
hadoop3的单机启动配置
qq_43662627的博客
11-03 680
#下载hadoop的tar包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz #解压到指定目录 tar -xzvf hadoop-3.2.1.tar.gz /export/server #修改配置文件 etc/hadoop/core-site.xml <configuration> <property> <na
配置Hive环境及安装hadoop-cdh
Binbinhb的博客
03-06 1441
一、完善目录 1、在HBinz用户下新建目录 software 存放安装软件 data 存放测试数据 source 存放源代码 lib 存放相关开发的jar app 软件安装目录 tmp 存放HDFS/Kafka/ZK数据目录 maven_repo maven本地仓库 shell 存放上课相关的脚本 mkdir software data source lib app t...
Hadoop集群安装配置指南：NameNode与DataNode，JobTracker与TaskTracker解析
"Hadoop安装配置总结，包括集群部署介绍、Hadoop核心组件解析、环境说明及具体安装步骤" Hadoop的安装配置是一个重要的过程，它涉及到分布式计算平台的基础搭建，以便于有效地处理大规模数据。Hadoop是Apache软件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值