Hadoop3.3.0--Linux编译安装

最新推荐文章于 2023-09-03 23:02:54 发布
最新推荐文章于 2023-09-03 23:02:54 发布
阅读量697 收藏 1
点赞数
文章标签： hadoop linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LI_dreamit/article/details/120658811
版权

基础环境：Centos 7.7

编译环境软件安装目录

mkdir -p /export/server

Hadoop编译安装

  • 安装编译相关的依赖

    yum install gcc gcc-c++ make autoconf automake libtool curl lzo-devel zlib-devel openssl openssl-devel ncurses-devel snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop libXtst zlib -y
​
​
yum install -y doxygen cyrus-sasl* saslwrapper-devel*

  • 手动安装cmake

    #yum卸载已安装cmake 版本低
yum erase cmake
​
#解压
tar zxvf CMake-3.19.4.tar.gz
​
#编译安装
cd /export/server/CMake-3.19.4
​
./configure
​
make && make install
​
#验证
[root@node4 ~]# cmake -version
cmake version 3.19.4
​
#如果没有正确显示版本 请断开SSH连接 重写登录

  • 手动安装snappy

    #卸载已经安装的
​
rm -rf /usr/local/lib/libsnappy*
rm -rf /lib64/libsnappy*
​
#上传解压
tar zxvf snappy-1.1.3.tar.gz 
​
#编译安装
cd /export/server/snappy-1.1.3
./configure
make && make install
​
#验证是否安装
[root@node4 snappy-1.1.3]# ls -lh /usr/local/lib |grep snappy
-rw-r--r-- 1 root root 511K Nov  4 17:13 libsnappy.a
-rwxr-xr-x 1 root root  955 Nov  4 17:13 libsnappy.la
lrwxrwxrwx 1 root root   18 Nov  4 17:13 libsnappy.so -> libsnappy.so.1.3.0
lrwxrwxrwx 1 root root   18 Nov  4 17:13 libsnappy.so.1 -> libsnappy.so.1.3.0
-rwxr-xr-x 1 root root 253K Nov  4 17:13 libsnappy.so.1.3.0

  • 安装配置JDK 1.8

    #解压安装包
tar zxvf jdk-8u65-linux-x64.tar.gz
​
#配置环境变量
vim /etc/profile
​
export JAVA_HOME=/export/server/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
​
source /etc/profile
​
#验证是否安装成功
java -version
​
java version "1.8.0_65"
Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)
You have new mail in /var/spool/mail/root

  • 安装配置maven

    #解压安装包
tar zxvf apache-maven-3.5.4-bin.tar.gz
​
#配置环境变量
vim /etc/profile
​
export MAVEN_HOME=/export/server/apache-maven-3.5.4
export MAVEN_OPTS="-Xms4096m -Xmx4096m"
export PATH=:$MAVEN_HOME/bin:$PATH
​
source /etc/profile
​
#验证是否安装成功
[root@node4 ~]# mvn -v
Apache Maven 3.5.4
​
#添加maven 阿里云仓库地址 加快国内编译速度
vim /export/server/apache-maven-3.5.4/conf/settings.xml
​
<mirrors>
     <mirror>
           <id>alimaven</id>
           <name>aliyun maven</name>
           <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
           <mirrorOf>central</mirrorOf>
      </mirror>
</mirrors>

  • 安装ProtocolBuffer 3.7.1

    #卸载之前版本的protobuf
​
#解压
tar zxvf protobuf-3.7.1.tar.gz
​
#编译安装
cd /export/server/protobuf-3.7.1
./autogen.sh
./configure
make && make install
​
#验证是否安装成功
[root@node4 protobuf-3.7.1]# protoc --version
libprotoc 3.7.1

  • 编译hadoop

    #上传解压源码包
tar zxvf hadoop-3.3.0-src.tar.gz
​
#编译
cd /root/hadoop-3.3.0-src
​
mvn clean package -Pdist,native -DskipTests -Dtar -Dbundle.snappy -Dsnappy.lib=/usr/local/lib
​
#参数说明：
​
Pdist,native ：把重新编译生成的hadoop动态库；
DskipTests ：跳过测试
Dtar ：最后把文件以tar打包
Dbundle.snappy ：添加snappy压缩支持【默认官网下载的是不支持的】
Dsnappy.lib=/usr/local/lib ：指snappy在编译机器上安装后的库路径

  • 编译之后的安装包路径

    /root/hadoop-3.3.0-src/hadoop-dist/target

  • Hadoop 完全分布式安装

    • 集群规划

      主机角色
      node1NN DN RM NM
      node2SNN DN NM
      node3DN NM

    • 基础环境

      # 主机名 hosts映射
vim /etc/hosts
​
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
​
192.168.227.151 node1.itcast.cn node1
192.168.227.152 node2.itcast.cn node2
192.168.227.153 node3.itcast.cn node3
​
# JDK 1.8安装  上传 jdk-8u65-linux-x64.tar.gz到/export/server/目录下
cd /export/server/
tar zxvf jdk-8u65-linux-x64.tar.gz
​
    #配置环境变量
    vim /etc/profile
    
    export JAVA_HOME=/export/server/jdk1.8.0_65
    export PATH=$PATH:$JAVA_HOME/bin
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    
    #重新加载环境变量文件
    source /etc/profile
​
# 集群时间同步
ntpdate ntp5.aliyun.com
​
# 防火墙关闭
firewall-cmd --state    #查看防火墙状态
systemctl stop firewalld.service  #停止firewalld服务
systemctl disable firewalld.service  #开机禁用firewalld服务
​
# ssh免密登录
​
    #node1生成公钥私钥 (一路回车)
    ssh-keygen  
    
    #node1配置免密登录到node1 node2 node3
    ssh-copy-id node1
    ssh-copy-id node2
    ssh-copy-id node3

    • 上传Hadoop安装包到node1 /export/server

      hadoop-3.3.0-Centos7-64-with-snappy.tar.gz
​
tar zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz

    • 修改配置文件(配置文件路径 hadoop-3.3.0/etc/hadoop)

      • hadoop-env.sh

        export JAVA_HOME=/export/server/jdk1.8.0_65
​
#文件最后添加
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

      • core-site.xml

        <!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:8020</value>
</property>
​
<!-- 设置Hadoop本地保存数据路径 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/export/data/hadoop-3.3.0</value>
</property>
​
<!-- 设置HDFS web UI用户身份 -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>
​
<!-- 整合hive 用户代理设置 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
​
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

      • hdfs-site.xml

        <!-- 设置SNN进程运行机器位置信息 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node2:9868</value>
</property>

      • mapred-site.xml

        <!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
​
<!-- MR程序历史服务器端地址 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>node1:10020</value>
</property>
 
<!-- 历史服务器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>node1:19888</value>
</property>
​
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
​
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
​
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

      • yarn-site.xml

        <!-- 设置YARN集群主角色运行机器位置 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node1</value>
</property>
​
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
​
<!-- 是否将对容器实施物理内存限制 -->
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
​
<!-- 是否将对容器实施虚拟内存限制。 -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>
​
<!-- 开启日志聚集 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>
​
<!-- 设置yarn历史服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://node1:19888/jobhistory/logs</value>
</property>
​
<!-- 保存的时间7天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>

      • workers

        node1
node2
node3

    • 分发同步hadoop安装包

      cd /export/server
​
scp -r hadoop-3.3.0 root@node2:$PWD
scp -r hadoop-3.3.0 root@node3:$PWD

    • 将hadoop添加到环境变量（3台机器）

      vim /etc/proflie
​
export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
​
source /etc/profile

  • Hadoop集群启动

    • （==首次启动==）格式化namenode

      hdfs namenode -format

    • 脚本一键启动

      [root@node1 ~]# start-dfs.sh 
Starting namenodes on [node1]
Last login: Thu Nov  5 10:44:10 CST 2020 on pts/0
Starting datanodes
Last login: Thu Nov  5 10:45:02 CST 2020 on pts/0
Starting secondary namenodes [node2]
Last login: Thu Nov  5 10:45:04 CST 2020 on pts/0
​
[root@node1 ~]# start-yarn.sh 
Starting resourcemanager
Last login: Thu Nov  5 10:45:08 CST 2020 on pts/0
Starting nodemanagers
Last login: Thu Nov  5 10:45:44 CST 2020 on pts/0

    • Web UI页面

    • 错误1:运行hadoop3官方自带mr示例出错。

      • 错误信息

        Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
​
Please check whether your etc/hadoop/mapred-site.xml contains the below configuration:
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>

      • 解决 mapred-site.xml,增加以下配置

        <property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

 

LI_dreamLT
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
hadoop3.3.0在centos7.7环境编译环境资源，附hadoop编译流程详细说明
04-30
资料包含 hadoop编译流程详细说明 apache-ant-1.9.16-bin.tar.gz cmake-3.22.4.tar.gz protobuf-2.5.0.tar.gz snappy-1.1.4.tar.gz cyrus-sasl-2.1.26-23.el7.x86_64.rpm cyrus-sasl-devel-2.1.26-23.el7.x86_64.rpm cyrus-sasl-gssapi-2.1.26-23.el7.x86_64.rpm cyrus-sasl-lib-2.1.26-23.el7.x86_64.rpm cyrus-sasl-md5-2.1.26-23.el7.x86_64.rpm cyrus-sasl-plain-2.1.26-23.el7.x86_64.rpm cyrus-sasl-scram-2.1.26-23.el7.x86_64.rpm
hadoop3.3.0 编译环境搭建
cn987654的博客
12-22 1986
hadoop 3.3.0 编译
Hadoop3.x的安装部署
Knight
05-24 768
安装hadoop 1.解压安装文件到/opt/module下面 tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/ 2.将Hadoop添加到环境变量 vim /etc/profile ##HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop-3.1.3 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin 3.环境变量生效 sou
史上最简单详细的Hadoop完全分布式集群搭建
热门推荐
Mage的博客
10-31 5万+
一.安装虚拟机环境 Vmware12中文官方版 链接：https://pan.baidu.com/s/1IGKVfaOtcFMFXNLHUQp41w 提取码：6rep 激活秘钥：MA491-6NL5Q-AZAM0-ZH0N2-AAJ5A 这个安装就十分的简单了，只需要不断点击下一步，直到安装完成就OK了； 二.虚拟机的安装（Centos7） 这个步骤我分享一个详细安装地址：https://www...
部署Hadoop集群
weixin_44328192的博客
09-17 721
Hadoop下载、安装和配置部署，Hadoop完全分布式集群部署，
hadoop3.3.0-winutils所有bin文件
02-27
hadoop3.3.0-winutils所有bin文件，亲测有效
hadoop3.3.0-winutils.rar
07-27
Hadoop3.3.0在windows下部署开发环境或者远程开发hadoop集群，对应的 hadoop.dll和winutils.exe以及整个bin目录 ，以及安装方法 亲测可用，有什么问题可以在评论描述
Hadoop3.3.0-Ubuntu11安装.docx
12-14
hadoop3.3.0再Ubuntu的配置过程
Hadoop-3.3.0-Centos7-64bit_编译安装详解.md
11-14
Hadoop-3.3.0-Centos7-64bit_编译安装详解.md
hadoop-3.3.0.tar.gz
08-21
hadoop-3.3.0.tar.gz
Centos7安装Hadoop 3.3.0
titan585的博客
09-24 1665
安装环境 系统环境 CentOS 7.8     安装Java （openjdk 1.8） 安装JDK 搜索1.8版本可安装的文件 yum list java-1.8*   安装JDK 1.8.0 yum install java-1.8.0-openjdk* -y   修改系统变量 查找JDK的安装路径 which java ls -lrt /usr/bin/java ls -lrt /etc/alternatives/java 编辑/etc/prof
Hadoop3.0集群安装知识
about云
01-06 737
问题导读1.本文是如何定义master的？2.如何配置hadoop守护进程环境？3.配置Hadoop守护进程需要哪些配置文件？4.yarn-site配置文件，主要配置哪两个进程？5.mapred-site.xml配置文件，配置哪些内容？6.hadoop如何配置监测NodeManagers的健康状况？7.hadoop3.0slaves做了什么更改？8.如何单独启动DataNode？9.访问hadoo
Hadoop3.X HA安装部署(保姆式细节版)
最新发布
winggyn的专栏
09-03 378
说明此报告中：我将hadoop解压缩到/opt/hadoop/下，Jdk放在/opt/java下，zookeeper放在/export/server下；准备工作：在每台机器修改主机名字：hostnamectl set-hostname hadoop1crontab -e一：可以先搭建启动zookeeper1-3现在一台机器上完成下载zookeeper:注意啦：是下载编译过的这个包，不是那个源码包哈解压缩3.配置文件进入zookeeper所在目录后。
hadoop3X HA安装部署
qq_55906442的博客
04-22 2593
目录 一、前期准备 1.1安装了jdk 1.2安装了zookeeper分布式 1.3配置免密码登录 1.4机器准备 二、安装部署 2.1上传 2.2解压 2.3配置环境变量（每一台都要） 2.4修改hadoo-env.sh 2.5修改core-site.xml 2.6修改hdfs-site.xml 2.7修改mapred-site.xml 2.8修改yarn-site.xml 2.9修改workers 2.10修改：yarn-env.sh 2.11拷贝到其他节点 三、验.
hadoop 集群部署
qq_33568946的博客
04-12 802
大数据，hadoop，hadoop集群部署
hadoop集群部署
while false
05-25 1894
hadoop集群部署分为三种： 本地部署     伪分布式部署      分布式部署 分布式部署顾名思义前提要有至少多台服务器，所以这里只介绍前两种部署方式，但是本地部署非常简单，只有几步，按照官方文档完全可以进行，所以下面主要讲伪分布式部署方式 伪分布式： 1.准备工作： 在linux环境下安装jdk和hadoop，上传压缩包----》解压----》检验是否安装成功 2.在core-...
Hadoop集群部署
qianqia_n的博客
07-20 554
hadoop集群环境
Hadoop的集群部署
m0_72168501的博客
10-23 757
Hadoop的部署
spark-3.3.0-bin-hadoop3.tg和spark-3.3.0-bin-without-hadoop.tgz
07-02
总之，spark-3.3.0-bin-hadoop3.tg和spark-3.3.0-bin-without-hadoop.tgz是Apache Spark的不同版本的压缩文件，分别适用于已安装了Hadoop版本3.x的环境和希望使用其他版本Hadoop或已有独立Hadoop环境的用户。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值