集群搭建及软件安装（2）

最新推荐文章于 2024-03-26 20:37:43 发布
最新推荐文章于 2024-03-26 20:37:43 发布
阅读量611 收藏 3
点赞数
分类专栏： 大数据技术专栏 文章标签： hadoop 大数据 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36203774/article/details/105123656
版权

集群搭建及软件安装—Ⅱ.Hadoop安装

一、jdk安装

1、下载jdk的jar包

​ 下载链接：https://download.csdn.net/download/qq_36203774/12270448

2、上传jdk的jar包到节点1

​ 创建目录

mkdir -p /opt/software  # 该目录用于保存上传的安装包文件
mkdir -p /opt/app #该目录用于保存解压安装后的软件
mkdir -p /opt/data #该目录用于保存HDFS数据

​ 上传文件

​ 此处使用的远程连接工具是MobaXterm，下载链接：https://download.csdn.net/download/qq_36203774/12270063

在这里插入图片描述

3、解压压缩包，并发送到其余节点相同目录

# 解压jdk包到指定文件目录/opt/app
tar -zxvf /opt/software/jdk1.8_linux.tar.gz -C /opt/app/

# 发送到其余节点
scp /opt/app/* node2:/opt/app/

4、配置环境变量

# 将java的路径写入系统环境变量文件
vi /etc/profile

# 在文件最后加入以下代码
export JAVA_HOME=/opt/app/jdk1.8.0_171
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

# 刷新配置文件，使配置文件生效
source /etc/profile

# 发送到其余节点
scp /etc/profile node2:/etc/profile

5、测试是否安装正确

[root@node1 ~]# java -version

# 出现以下信息表示配置成功
java version "1.8.0_171"
Java(TM) SE Runtime Environment (build 1.8.0_171-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)

二、Hadoop安装

1、下载hadoop安装包

​ 下载地址：https://download.csdn.net/download/qq_36203774/12272069

2、上传安装包到集群

​ 详见上栏目2

3、解压安装包

# 解压安装包到指定目录
tar -zxvf /opt/software/hadoop-3.1.3.tar.gz -C /opt/app/

# 查看是否解压成功
[root@node1 hadoop]# ls /opt/app/hadoop-3.1.3/

# 出现以下信息说明解压成功
bin  etc  include  lib  libexec  LICENSE.txt  NOTICE.txt  README.txt  sbin  share

4、配置环境变量

vi /etc/profile
# 在文件末尾加入以下信息
export HADOOP_HOME=/opt/app/hadoop-3.1.3
export export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

# 保存退出后重新加载环境变量配置文件
source /etc/profile

# 发送到其他节点
scp /etc/profile node2:/etc/profile
source /etc/profile # 在其他节点执行

5、配置hadoop配置文件

​ 一共需要配置以下几个文件：

​ yarn-env.sh

​ core-site.xml

​ hdfs-site.xml

​ mapred-site.xml

​ yarn-site.xml

​ slaves

​ 配置hadoop-env.sh文件

vi /opt/app/hadoop-3.1.3/etc/hadoop/hadoop-env.sh

# 在文件中找到如下位置并添加jdk目录

# The java implementation to use. By default, this environment
# variable is REQUIRED on ALL platforms except OS X!
export JAVA_HOME=/opt/app/jdk1.8.0_171

​ 配置yarn-env.sh文件

vi /opt/app/hadoop-3.1.3/etc/hadoop/yarn-env.sh

# 在文件末尾添加如下配置
export JAVA_HOME=/opt/app/jdk1.8.0_171

​ 配置core-site.xml文件

vi /opt/app/hadoop-3.1.3/etc/hadoop/core-site.xml

# 在文件中加入如下配置
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://node1:9000</value>
                <description>指定hadoop默认主节点</description>
        </property>
        <property>
                <name>io.file.buffer.size</name>
                <value>131072</value>
                <description>该配置设置缓存大小，大的缓存能提高传输效率，但是占用更多内存和资源，131072KB即为默认的64M</description>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/opt/data/temp</value>
                <descriptio>临时文件存储目录，需要自己建此目录</description>
        </property>
        <property>
                <name>hadoop.proxyuser.root.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>
</configuration>

# 保存退出后创建临时数据目录
mkdir -p /opt/data/tmp

​ 配置hdfs-site.xml文件

vi /opt/app/hadoop-3.1.3/etc/hadoop/hdfs-site.xml

# 在文件中加入如下配置
<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>node1:9001</value>
                <description>指定HDFS主节点</description>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/opt/data/dfs/name</value>
                <description>需要自己创建目录</description>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/opt/data/dfs/data</value>
                <description>需要自己创建目录</description>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
                <description>数据副本数，默认3份，此处指定两份</description>
        </property>
        <property>
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
                <description>开启web访问集群功能，可在浏览器上通过端口管理集群</description>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
                <description>关闭身份验证</description>
        </property>
        <property>
                <name>dfs.web.ugi</name>
                <value>supergroup</value>
        </property>
</configuration>

# 保存退出后创建数据目录
mkdir -p /opt/data/dfs/name
mkdir -p /opt/data/dfs/data

​ 配置mapred-site.xml文件

vi /opt/app/hadoop-3.1.3/etc/hadoop/mapred-site.xml

# 在文件中加入如下配置
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>node1:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>node:19888</value>
        </property>
</configuration>

​ 配置yarn-site.xml文件

vi /opt/app/hadoop-3.1.3/etc/hadoop/yarn-site.xml

# 在文件中加入如下配置
		<property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>node1:8032</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>node1:8030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>node1:8031</value>
        </property>
        <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>node1:8033</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>node1:8088</value>
        </property>

​ 配置workers文件

vi /opt/app/hadoop-3.1.3/etc/hadoop/workers

# 在文件中加入
node1
node2

6、将hadoop配置和创建的目录发送到其他节点

scp -r /opt/app/hadoop-3.1.3 node2:/opt
scp -r /opt/data node2:/opt

7、格式化主节点的namenode

/opt/app/hadoop-3.1.3/bin/hadoop namenode -format

# 如果出现以下错误，去把core.xml中的中文注释删掉
2020-03-26 17:10:29,900 ERROR conf.Configuration: error parsing conf core-site.xml
com.ctc.wstx.exc.WstxParsingException: Unexpected close tag </description>; expected </descriptio>.

# 看到successfully formatted.表示格式化成功了

8、启动集群

start-all.sh

# 若出现Attempting to operate on hdfs namenode as root错误
# 在hadoop的sbin目录下找到start-dfs.sh，stop-dfs.sh，start-yarn.sh，stop-yarn.sh四个文件中添加如下内容：
#在start-dfs.sh和stop-dfs.sh中添加
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

#在start-yarn.sh和stop-yarn.sh中添加
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
小雕炖蘑菇
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
集群软件(cluster)包安装与配置
07-02
集群软件(cluster)包安装与配置，非常不错，可以下载，学习学习
集群搭建及软件安装（1）
qq_36203774的博客
03-24 539
Hadoop集群搭建——Ⅰ.环境准备 一、集群时间同步 ​ 为保证集群时间不会因为网络情况出现时间异步的情况，将节点1作为时间服务器，同步集群之间时间。 1、集群中所有的机器安装ntp时间同步工具。 sudo yum -y install ntp ntpdaye 2、节点1设置为时间同步服务器 ​ 在所有机器上执行以下命令。 sudo systemctl start ntpd #启动时...
linux 集群 安装软件,Linux安装集群管理软件xCAT
weixin_42300478的博客
05-11 289
1 下载软件 xcat-core下载 xcat-dep2 在管理节点上mkdir -p /install/srccd /install/srctar jxvf /YourDownloadPath/xcat-core*bztar jxvf /YourDownloadPath/xcat-dep*bz3 使用本地源cd /install/src/xcat-core./mklocalrepo.shcd ...
Linux集群软件安装实战
weixin_33752045的博客
09-26 1109
一、需求和思路 1. 需求描述 公司有N个节点的集群，需要统一安装一个软件(jdk)需要开发一个脚本程序，实现对集群中的N个节点批量自动下载、安装jdk 2. 思路 1）编写一个启动脚本，用来发送一个软件安装脚本到一台机器2）然后启动每台机器上的软件安装脚本来执行软件下载和安装 3. 步骤 1）搭建web服务器 存放jdk软件httpd /var/www/html/jdk.1.7.0....
Linux局域网集群软件的安装（以JDK安装为例）
tianjun2012的专栏
11-29 1123
在集群中，若干服务器，全部手动安装，当量很大的时候，这是不大现实的。（没有外网下）指导思想思想一、每一台机器都配一个本地文件系统上的yum仓库 file:///packege/path/。（少量服务器可采取） 思想二、在局域网内部配置一台节点(server-base)的本地文件系统yum仓库，然后将其发布到web服务器中，其他节点就可以通过http://server-base/pagekege/p
达梦读写分离集群搭建文档
最新发布
06-19
2. **安装达梦数据库**：在所有服务器上安装达梦数据库软件，遵循官方提供的安装指南，确保每个节点都正确安装并初始化数据库实例。 3. **配置主库**：在主库上设置必要的参数，如日志文件位置、数据文件位置等。...
matlab_集群搭建及使用
10-06
### MATLAB集群搭建及使用知识点详解 #### 一、分布式计算环境介绍 ##### 1.1 并行计算工具箱(Parallel Computing Toolbox) 并行计算工具箱（Parallel Computing Toolbox）是MATLAB提供的一种强大的工具，它允许...
详解搭建ubuntu版hadoop集群
09-15
【搭建Ubuntu版Hadoop集群详解】 在本文中，我们将详细阐述如何在Ubuntu 16.04环境下搭建Hadoop集群。Hadoop是一个开源的分布式计算框架，它允许处理和存储大量数据，尤其适合大数据分析。Ubuntu是Linux发行版中的...
详解ElasticSearch6.4.0集群搭建
08-26
搭建 ElasticSearch 6.4.0 集群需要经过软件准备、环境规划、修改服务器主机名称、关闭防火墙、JDK 安装配置、ElasticSearch 安装配置、集群搭建和集群测试等步骤。通过这些步骤，可以成功搭建一个高可用的 Elastic...
redis3.0.0集群搭建
09-02
在集群搭建过程中，Ruby的`redis-trib.rb`工具非常关键。确保你已经安装了Ruby，并通过Gem安装`redis`和`redis-trib`库： ```sh gem install redis gem install redis-trib ``` 接着，使用`redis-trib.rb`创建集群...
简单易用安装程序制作工具中文版.rar
12-05
简单易用安装程序制作工具中文版不需要复杂的脚本代码只需要一些简单的脚本代码就可以打包的安装程序制作工具。
集群中无root权限的情况下安装软件（CentOS）
father101的博客
09-13 512
使用的是yumdownloader，需要集群中安装部署了yum服务（一般集群中都会有，但yum install只能root权限下进行操作）
做集群的三个软件
zcx546995956的博客
09-08 562
集群创建的方法 一、nginx代理服务 upstream { server web1; server web2; } 二、haproxy代理服务 listen xx :80 server web1 IP check server web2 IP check 三、LVS:NAT,DR，TUN（现在一般不用） NAT 模式下：转发，数据包从哪里进，最后就从哪里出，也就是说用户请求从调度器进，最后web1，web2数据还从调度器出 DR模式下：用户访问调度器，调度器转给web1，web1把数据直接返回给用户，调度
XHZ集群上安装使用各种软件和库的方法（自记备忘，谨慎参考）
weixin_43925132的博客
06-12 198
XHZ集群上安装各种软件和库遇到的一些问题和解决方法 仅限本集群，不一定具备参考意义 水平有限，绕了远路请各位大佬指导一下
如何在服务器或者集群上安装自己的常用软件
weixin_30820151的博客
10-19 779
1 假设服务器上已经安装python2，python3，现需要安装自己常用的包 1 wget https://bootstrap.pypa.io/get-pip.py 2 python2 get-pip.py 3 python3 get-pip.py 4 pip2 install --user numpy pandas matplotlib 5 pip3 install -...
搭建简易的hadoop集群(完全分布式)
weixin_45934766的博客
03-26 2519
hadoop3.x安装包下载地址: https://archive.apache.org/dist/hadoop/core/hadoop-3.1.3/hadoop-3.1.3.tar.gzcentos7镜像下载地址: https://mirrors.tuna.tsinghua.edu.cn/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-2009.isoxshell下载地址: https://wwp.lanzoul.com/iNy71v58rhixftp下载地址: http
大数据集群管理软件 CDH、Ambari、DataSophon 对比
u011047968的专栏
02-27 2331
DataSophon也是个类似的管理平台，只不过与智子不同的是，智子的目的是锁死人类的基础科学阻碍人类技术爆炸，而DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的，帮助您快速构建起稳定，高效的大数据集群服务。
Nginx+Keepalived+LVS高可用集群----相关知识回顾
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
09-06 4777
1、原理回顾 1.1、集群知识回顾 集群特点： 1）高性能performance。 一些需要很强的运算处理能力比如天气预报，核试验等。这需要上千台计算器协同来完成这个工作的，共同分担计算任务。 2）价格相对便宜且可集中管理： 通常一套系统集群架构，只需要几台或数十台服务器主机即可，且这些计算机的性能实际使用中也不必太高，甚至可利旧老式的服务器，与动则上百王的专用超级计算机具有更高的性价比。 3）弹...
常见集群(Cluster)软件和技术解析
架构师技术联盟
09-13 3459
集群就是通过软件将一组服务器作为一个整体向客户提供资源。这些单个的服务器就是集群的节点。当对外提供资源的节点故障后，集群中其余的节点能够将资源接管起来，继续对客户提供资源。      集群技术的核心就是资源访问控制。由于集群中所有节点都可以访问集群对外共享的资源，当多个节点同时操作同一个资源的时候，就可能引发问题。例如节点A要对共享的存储进行写数据操作，如果节点B也要对相同位置的存储进行写操作，则
MPICH2安装与集群搭建指南
"MPICH2的安装文档提供了详细的集群搭建和使用指南，适用于1.06版本。这份文档由多个专家共同编写，并得到了美国能源部的支持。文档内容包括快速启动、编译优化、配置选项、从MPICH1迁移、选择通信设备以及进程管理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值