HADOOP集群加上LZO 搭建 （一步一步照着来 就完了）

最新推荐文章于 2024-05-16 20:00:00 发布
最新推荐文章于 2024-05-16 20:00:00 发布
阅读量218 收藏
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_55575027/article/details/120198516
版权

准备三台虚拟机

首先网络配置

配置静态ip

vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.200.101
NETMASK=255.255.255.0
GATEWAY=192.168.200.2
DNS1=192.168.200.2

虚拟网络编辑

 

 NAT 设置

 

   搭建Java环境 这里选择的是JDK1.8

   

  解压完成后配置环境变量

 #JAVA_HOME
export JAVA_HOME=/opt/bdp/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

ssh免密登录配置

ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

将公钥拷贝到要免密登录的目标机器上

ssh-copy-id hadoop101

ssh-copy-id hadoop102

ssh-copy-id hadoop103

还需要在hadoop102上采用root账号，配置一下无密登录到hadoop101、hadoop102、hadoop103；

还需要在hadoop103上采用bawei账号配置一下无密登录到hadoop101、hadoop102、hadoop103服务器上。

然后解压

集群规划

服务器hadoop101

服务器hadoop102

服务器hadoop103

HDFS

NameNode

DataNode

DataNode

DataNode

SecondaryNameNode

Yarn

NodeManager

Resourcemanager

NodeManager

NodeManager

core-site.xml

<!-- 指定 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:8020</value>
</property>

<!-- 指定 hadoop 数据的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/bdp/hadoop-3.1.3/data</value>
</property>

<!-- 配置 HDFS 网页登录使用的静态用户为 demo -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>demo</value>
</property>

 hadoop-env.sh

配置java环境变量

 hdfs-site.xml

<!-- nn web 端访问地址-->
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop01:9870</value>
</property>
<!-- 2nn web 端访问地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop03:9868</value>
</property>
 

配置mapred-site.xml

 

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop01:10020</value>
</property>

<!-- 历史服务器 web 端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop01:19888</value>
</property>

配置yarn-site.xml

<!-- 指定MR 走 shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<!-- 指定 ResourceManager 的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop02</value>
</property>

<!-- 环境变量的继承 -->
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
RED_HOME</value>
</property>


<!-- 开启日志聚集功能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop01:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

配置sbin/start-yarn.sh  头部添加

#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

配置sbin/stop-yarn.sh  头部添加

#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

配置sbin/start-dfs.sh

#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

配置sbin/stop-dfs.sh

#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

上边的搭建完之后在运行时可能会报一些错

比如

 只需要在mapre-site.xml 和  yarn-site.xml配置文件里边添加

<property>
                <name>yarn.application.classpath</name>
        <value>
                /opt/bdp/hadoop-3.1.3/etc/*,
                /opt/bdp/hadoop-3.1.3/etc/hadoop,
                /opt/bdp/hadoop-3.1.3/share/hadoop/common/lib/*,
                /opt/bdp/hadoop-3.1.3/share/hadoop/common/*,
                /opt/bdp/hadoop-3.1.3/share/hadoop/hdfs/*,
                /opt/bdp/hadoop-3.1.3/share/hadoop/hdfs/lib/*,
                /opt/bdp/hadoop-3.1.3/share/hadoop/hdfs/,
                /opt/bdp/hadoop-3.1.3/share/hadoop/mapreduce/*,
                /opt/bdp/hadoop-3.1.3/share/hadoop/mapreduce/lib_examples/*,
                /opt/bdp/hadoop-3.1.3/share/hadoop/yarn/*,
                /opt/bdp/hadoop-3.1.3/share/hadoop/yarn/lib/*,
                </value>
    </property>

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>

如果运行的时候还会报下边的错 则在yarn-site.xml 添加

   <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
   <name>yarn.nodemanager.pmem-check-enabled</name>
   <value>false</value>
</property>

<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
   <value>false</value>
</property>
 

搭建LZO

首先要安装maven + git（配置编译环境）

这里选择的时 maven 3.6.1版本

vim /etc/profile.d/maven.sh（配置环境变量）

export MAVEN_HOME=/opt/software/apache-maven-3.6.1
export PATH=$PATH:$MAVEN_HOME/bin
MAVEN_OPTS=-Xmx2048m
export JAVA_HOME MAVEN_HOME MAVEN_OPTS JAVA_BIN PATH CLASSPATH

解压完修改 setting.xml配置文件加上阿里云镜像

tar -zxvf apache-maven-3.6.1-bin.tar.gz

setting.xml  文件在apache-maven-3.6.1/conf 下

<mirrors>
   <mirror>
     <id>nexus-aliyun</id>
     <mirrorOf>central</mirrorOf>
     <name>Nexus aliyun</name>
     <url>http://maven.aliyun.com/nexus/content/groups/public</url>
   </mirror>

   <mirror>
     <id>CN</id>
     <name>OSChina Central</name>
     <url>http://maven.oschina.net/content/groups/public/</url>
     <mirrorOf>central</mirrorOf>
   </mirror>

   <mirror>
     <id>alimaven</id>
     <mirrorOf>central</mirrorOf>
     <name>aliyun maven</name>
     <url>https://maven.aliyun.com/nexus/content/repositories/central/</url>
   </mirror>

   <mirror>
     <id>jboss-public-repository-group</id>
     <mirrorOf>central</mirrorOf>
     <name>JBoss Public Repository Group</name>
     <url>https://repository.jboss.org/nexus/content/groups/public</url>
   </mirror>
</mirrors>
 

安装git

yum install -y git

编译安装lzo,需要安装以下插件

gcc-c++

zlib-devel

autoconf

automake

libtool

通过yum安装即可

yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool

下载、安装并编译LZO

wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz

tar -zxvf lzo-2.10.tar.gz

cd lzo-2.10

./configure -prefix=/usr/local/hadoop/lzo/

make

make install

编译hadoop-lzo源码

下载hadoop-lzo的源码，下载地址：https://github.com/twitter/hadoop-lzo/archive/master.zip

wget https://github.com/twitter/hadoop-lzo/archive/master.zip

解压之后，修改pom.xml

<hadoop.current.version>3.1.3</hadoop.current.version>

声明两个临时环境变量

export C_INCLUDE_PATH=/usr/local/hadoop/lzo/include export LIBRARY_PATH=/usr/local/hadoop/lzo/lib

编译，进入hadoop-lzo-master，执行maven编译命令

mvn package -Dmaven.test.skip=true

进入target，hadoop-lzo-0.4.21-SNAPSHOT.jar 即编译成功的hadoop-lzo组件

将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-3.1.3/share/hadoop/common/

同步hadoop-lzo-0.4.21-SNAPSHOT.jar到hadoop102、hadoop103

xsync.sh hadoop-lzo-0.4.21-SNAPSHOT.jar

core-site.xml增加配置支持LZO压缩

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
<name>io.compression.codecs</name>
<value>
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec,
com.hadoop.compression.lzo.LzoCodec,
com.hadoop.compression.lzo.LzopCodec
</value>
</property>

<property>
    <name>io.compression.codec.lzo.class</name>
    <value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
</configuration>

同步core-site.xml到hadoop102、hadoop103

xsync.sh core-site.xml

然后自己测试吧

m0_55575027
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop中使用lzo压缩详解
weixin_46122692的博客
11-21 1884
1、简介 规则： lzo压缩不是hadoop中自带的，需要安装 可以切分，但是需要建立 优点： 压缩/解压速度比较快，合理的压缩率；支持 split，是 hadoop 中最流行的压缩格式；可以在 linux 系统下安装 lzop 命令，使用方便。 缺点： 压缩率比 gzip 要低一些； hadoop 本身不支持，需要安装；在应用中对 lzo 格式的文件需要做一些特殊处理（为了支持 split 需要建索引，还需要指定 inputformat 为 lzo 格式）。 lzo编译安装详解： https:
详解搭建ubuntu版hadoop集群
09-15
【搭建Ubuntu版Hadoop集群详解】 在本文中，我们将详细阐述如何在Ubuntu 16.04环境下搭建Hadoop集群。Hadoop是一个开源的分布式计算框架，它允许处理和存储大量数据，尤其适合大数据分析。Ubuntu是Linux发行版中的...
hadoop3.4.0 支持LZO 压缩配置 各种压缩区别
最新发布
tonyhi6的博客
05-16 213
【代码】hadoop3.4.0 支持LZO 压缩配置 各种压缩区别。
2024年Hadoop集成LZO(1)，2024年最新【金九银十
2401_84166147的博客
05-09 321
10、将编译好后的hadoop-lzo-0.4.21-SNAPSHOT.jar 放入/opt/hadoop/server/hadoop-3.2.4/share/hadoop/common中。9、进入target目录，如果有hadoop-lzo-0.4.21-SNAPSHOT.jar包，则说明编译成功。3、设置安装路径：./configure -prefix=/usr/local/hadoop/lzo/3、创建依赖包存放路径：/home/hadoop/data/maven/repository。
Hadoop添加LZO压缩支持
weixin_30667301的博客
07-25 281
启用lzo的压缩方式对于小规模集群是很有用处，压缩比率大概能降到原始日志大小的1/3。同时解压缩的速度也比较快。 安装 准备jar包 1）先下载lzo的jar项目https://github.com/twitter/hadoop-lzo/archive/master.zip 2）下载后的文件名是hadoop-lzo-master，它是一个zip格式的压缩包，先进行解压，然后用ma...
Hadoop支持LZO
weixin_43267534的博客
12-11 853
首先需要配置环境 yum -y install lzo-devel zlib-devel gcc autoconf automake libtool 下载lzo包 wget www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz 解压 tar -zxvf lzo-2.06.tar.gz -C ~/app 然后进入到目录中执行以...
hadoop集群内lzo的安装与配置
csr_hema的专栏
10-11 431
最近我们部门在测试云计算平台hadoop，我被lzo折腾了三四天，累了个够呛。在此总结一下，也给大家做个参考。 操作系统：CentOS 5.5，Hadoop版本：hadoop-0.20.2-CDH3B4 安装lzo所需要软件包：gcc、ant、lzo、lzo编码/解码器，另外，还需要lzo-devel依赖 配置lzo的文件：core-site.xml、mapred-site.xml
配置Hadoop支持LZO
小道的博客
01-01 263
0. 环境准备   maven（下载安装，配置环境变量，修改sitting.xml加阿里云镜像）   gcc-c++   zlib-devel   autoconf   automake   libtool   通过yum安装即可，yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool 1. 下载、安装并编译LZO   wget http://www.oberhumer.com/opensource/lzo/download
基于centos的大数据hadoop集群搭建说明文档
10-30
【标题】：基于CentOS的大数据Hadoop集群搭建详解 【描述】：本教程专为初学者设计，详细阐述了如何手动搭建Hadoop集群，步骤详尽，易于理解。 【标签】：Hadoop集群搭建 【正文】： Hadoop是一个开源的分布式...
hadoop集群搭建(超级详细)
10-11
本文将详细讲解如何搭建一个Hadoop集群，包括虚拟机安装、环境配置、Hadoop和Zookeeper的安装及集群验证。以下是对每个步骤的详细说明： 一、虚拟机安装与配置 在搭建Hadoop集群之前，首先需要准备多台虚拟机。可以...
hadoop集群服务搭建共6页.pdf.zip
11-21
【标题】：“Hadoop集群服务搭建共6页.pdf” 这篇文档很显然是关于Hadoop集群服务的搭建教程，可能涵盖了从基础概念到实际操作的详细步骤。Hadoop是Apache基金会的一个开源分布式计算框架，广泛应用于大数据处理...
hadoop-3.1.3-mac-native_lib.zip
02-23
macOS 下编译的hadoop-3.1.3源码所得的native库，可解决mac系统安装hadoop因缺失native库引起的报错
mac上基于docker搭建hadoop集群
01-20
对各个节点指定好功能 maseter为主节点，hadoop01 为从节点和datanode hadoop02 为yarn主节点负责各个节点的资源调度, hadoop02，hadoop03为datanode节点 OS hostname IP Centos8 hadoop-master ...
Hadoop配置支持LZO压缩
weixin_44911106的博客
07-29 204
1）先下载lzo的jar项目 2）下载后的文件名是一个zip格式的压缩包，先进行解压，然后用maven编译。 3）将编译后的jar包 放入hadoop/share/hadoop/common/目录下。 4）将jar包同步到集群。 5）core-site.xml增加配置支持LZO压缩 <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> &l
Hadoop 配置LZO 压缩
Nice的博客
04-11 580
1.前置要求 编译安装好hadoop java & maven 安装配置好 安装前置库 yum -y install lzo-devel zlib-devel gcc autoconf automake libtool 2.安装 lzo 2.1 下载 #下载 wget www.oberhumer.com/opensource/lzo/download/lzo-2....
hadoop3.x支持LZO压缩配置
lehsyh的专栏
08-08 672
hadoop3本身并不支持lzo压缩，故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需要依赖hadoop和lzo进行编译，编译步骤如下
Apache Hadoop3.1.3编译安装部署lzo压缩指南（照做就可以，别落一步）
后来X大数据
05-10 2021
安装maven+git（配置编译环境） maven（安装maven，配置环境变量，修改sitting.xml加阿里云镜像） tar -zxvf apache-maven-3.6.1-bin.tar.gz sudo vim /etc/profile.d/maven.sh（配置环境变量） export MAVEN_HOME=/opt/software/apache-maven-3.6.1 export PATH=$PATH:$MAVEN_HOME/bin MAVEN_OPTS=-Xmx2048m expor
Hadoop(三）
weixin_63816398的博客
07-24 364
hadoop(三）

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值