HADOOP安装

最新推荐文章于 2024-05-18 21:41:29 发布
最新推荐文章于 2024-05-18 21:41:29 发布
阅读量447 收藏
点赞数 1
文章标签： linux hadoop java 大数据 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43617598/article/details/118072990
版权

一、前提条件

注：主虚拟机->主节点=namenode
子虚拟机1->子节点1=datanode1
1. Linux系统

2. 配置固定的IP地址，此处需要3个ip，一个给主机，另外两个分别给两台虚拟机
1、连接以太网(插网线)，然后点击：设置–>网络和Internet–>以太网–>网络和共享中心
在这里插入图片描述

2、点击对应网络的连接状态，点击属性，双击TCP/IPv4,点击使用下面的IP地址，输入对应的IP地址、子网掩码、默认网关，点击确定
在这里插入图片描述
在这里插入图片描述

3、打开VMware虚拟机，点击:编辑–>虚拟网络编辑器，添加一个网络位置，修改为桥接模式，查看以太网属性-描述，已桥接至，选择该网络，点击确定
在这里插入图片描述

在这里插入图片描述

4、启动虚拟机，终端输入ip a查看网卡信息，找到有线网卡对应的记录(我这里是已经配好静态ip的，找到前面的这个名字，看不懂的可以先全篇翻译)
在这里插入图片描述

5、编辑网卡配置文件vi /etc/sysconfig/network-scripts/ifcfg-ens33(最后的这个ens33改成自己上一步找到的名字)，输入：

DEVICE=(自己上一步找到的名字)
IPADDR=(自己的静态ip)
NETMASK=(自己的子网掩码)
BOOTPROTO=static
GATEWAY=(自己的网关)
ONBOOT=yes
NAME=loopbac2

6、重启网络，出现ok或成功，就没问题

service network restart

7、查看网络地址ip a
确定自己的ip修改成功
8、测试网络连接
虚拟机：ping 主机ip
主机：ping 虚拟机ip
提示：同频段ip也可以互相ping，如果其他人可以ping你，而你无法ping其他人,可能ip已被占用，可以换个ip再试
9、重复以上以上步骤，配置另一台虚拟机的静态ip

3. 主节点服务器免密码登录子节点服务器

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
# 192.168.1.73换成自己的子节点ip
scp ~/.ssh/id_rsa.pub root@192.168.1.73:~/.ssh/authorized_keys

4. Jdk1.8(hadoop2.7.x至3.3版本)，可以参考
jdk1.8安装

二、单节点安装

1、下载hadoop文件
hadoop下载地址
2、准备hadoop文件

  1. 复制文件hadoop-3.2.2.tar.gz 到linux特定目录,如/software
  2. 解压文件 tar -zxvf hadoop-3.2.2.tar.gz

3、配置变量
(1)编辑/software/hadoop-3.2.2/etc/hadoop/hadoop-env.sh 文件,
设置变量: (命令find / | grep jre找到jre位置作为JAVA_HOME)
注：路径名找自己的

export JAVA_HOME=/usr/java/jdk1.8.0_291-amd64/jre
export HDFS_NAMENODE_USER=root 
export HDFS_DATANODE_USER=root 
export HDFS_SECONDARYNAMENODE_USER=root 
export YARN_RESOURCEMANAGER_USER=root 
export YARN_NODEMANAGER_USER=root

(2)编辑/etc/hosts文件 (ip为虚拟机ip)

192.168.144.155 namenode

(3)编辑/etc/profile (命令find / | grep jre找到jdk位置作为JAVA_HOME)

export JAVA_HOME=/usr/java/jdk1.8.0_291-amd64
export PATH=$PATH:$JAVA_HOME/bin

export PATH=$PATH:/software/hadoop-3.2.2/bin/

命令行命令

# 刷新/etc/profile文件
source /etc/profile

附(4)修改机器名称:(namenode为新名字)

# 修改主机名为namenode方法1
hostnamectl set-hostname namenode
# 查看主机名
sysctl kernel.hostname
# 修改主机名为namenode方法2
sysctl kernel.hostname=namenode

4、配置文件
(1)编辑/software/hadoop-3.2.2/etc/hadoop/core-site.xml文件

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://namenode:9000</value>
  </property>
<property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
</property>

(2)先在/home目录下新建data目录，再在data目录下新建hdfs目录，
再编辑/software/hadoop-3.2.2/etc/hadoop/hdfs-site.xml文件

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>/home/data/hdfs</value>
</property>

(3)编辑/software/hadoop-3.2.2/etc/hadoop/mapred-site.xml文件

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
<property>
  <name>mapreduce.application.classpath</name>          
<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
</property>

(4)编辑/software/hadoop-3.2.2/etc/hadoop/yarn-site.xml文件

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.env-whitelist</name>        
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

5、hdfs格式化

hdfs namenode -format

6、启动进程

sbin/start-dfs.sh
sbin/start-yarn.sh
firewall-cmd --permanent --add-port=9870/tcp
firewall-cmd --permanent --add-port=8088/tcp
firewall-cmd --reload

7、访问hadoop
windows浏览器下访问对应主节点IP地址
http://192.168.244.132:9870/
http://192.168.244.132:8088

三、多节点安装

1、修改配置文件
1.修改/etc/hosts ,每台电脑都要修改

主节点ip namenode
子节点ip datanode1

2.修改主节点的hadoop-3.2.2/etc/hadoop/workers 文件

namenode
datanode1

3.关闭全部防火墙

systemctl stop firewalld
systemctl disable firewalld.service

4.删除文件夹

rm -r hadoop-3.2.2/etc/hadoop/tmp 
# 此步只删除子虚拟机里面的文件
rm -r /software/data/hdfs

5.子节点(子虚拟机)修改机器名

sysctl datanode1

6.全部虚拟机重启

init 6

7.启动服务(主节点)

cd /software/hadoop-3.2.2/sbin/
./start-all.sh

8、windows浏览器下访问对应主节点IP地址
出现自己总节点数则成功
http://192.168.244.132:9870/
在这里插入图片描述

http://192.168.244.132:8088
在这里插入图片描述

9、如果启动有问题，有报错跟着错误来，查找原因可以参考以下方式

# 检查hadoop进程启动(主节点一般是启动5个，子节点不启动)
ps -ef | grep java
# 杀死进程，pid为对应进程id
kill pid
# 关闭hadoop服务，hadoop下sbin目录下
./stop-all.sh
# 清空日志
cd ../logs
rm -rf *
# 重新启动hadoop服务还是无法访问，查日志,logs下
tail -n 100 (namenode对应的.log文件)
小白保姆
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop安装
12-05
hadoop详细安装，配置，包括配置环境变量，让环境变量生效。core-site.xml， hdfs-site.xml等的配置
Hadoop安装
12-05
详细的介绍了如何建立计算机集群的Hadoop分布式计算机平台的创建，用3个虚拟机进行集群,Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理.
Hadoop运行环境搭建（开发重点二）克隆虚拟机、利用模板机hadoop100，克隆三台虚拟机：hadoop102 hadoop103 hadoop104、修改克隆机IP和主机名称、网络配置
Redamancy06的博客
08-01 2201
在XShell和Xftp连接hadoop102、hadoop103和hadoop104、配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts、如何将hadoop104从磁盘删除、如何再将hadoop100添加回来、如果不小心将虚拟机hadoop100移除了、为什么不从hadoop101开始，因为一开始hadoop101留给了单台服务器操作使用，而用102,103,104搭建的是完全分布式，真正的生产集群。后面可以用101进行源码的编译...
Hadoop集群搭建教程---超简单
weixin_42397249的博客
04-20 2955
1.常用命令 1.1 Hadoop常用： 1.检查状态：hadoop fsck / 1.2 Linux常用: 1.排除端口查看netsh interface ipv4 show excludedportrange protocol=tcp 1.2 基础环境准备 1.2.1 创建基础的centos7镜像 拉取官方centos7镜像 docker pull centos:centos7 通过build Dockfile生成带ssh功能的centos镜像 创建Dockerfile文件 vi Dockerfi
大数据之路-Hadoop-部署（3）
sunnnyeee的博客
01-12 1271
之前PPT里写平台产品价值的时候，总是会写“开箱即用，降低部署门槛"这一点，好奇之下自己找了些网上的资料，尝试了下部署，分享下自己的部署步骤。 准备工作 先准备3台虚拟机：1个namenode节点 + 2个datanode 节点 各台机器的主机名和ip地址如下： 主机名：master 对应的ip地址：192.168.110.11 主机名：slave1 对应的ip地址：192.168.110.12 主机名：slave2 对应的ip地址：192.168.110.13 已配置好网络环境，免密登录和JDK。
hadoop小白环境搭建之网络篇
qq_62714412的博客
10-29 338
首先选择使用下面的IP地址和使用下面的DNS服务器地址，然后将我们刚刚记录的IP地址，子掩网码和网关填入对应位置（这里需要提一嘴，虚拟机给我们的IP地址主机号都是0，这里建议改成1，即IP的最后一位将0改为1将其填入），DNS服务器地址和我用一样的就行，114.114.114.114是阿里的DNS服务器，8.8.8.8是谷歌的DNS服务器。首先通过su命令切换到root用户，因为我们接下来需要修改文件，普通用户没有权限（提示：密码输入是不会显示的，和你登录的普通用户的密码是同一个密码）。
Hadoop完全分布式搭建（在三台虚拟机中实现）
qq_50004611的博客
08-29 9782
目录 1、虚拟机的准备工作（包括各种镜像包、软件的准备） 2、创建虚拟机的具体流程 3、jdk的安装 4、Hadoop 的安装 5、进程的启动 一、虚拟机的准备工作 1、软件、镜像包的下载 （1）虚拟机软件：本人所使用的虚拟机软件是VMware Workstation Pro 16.X （2）虚拟机镜像：版本为CentOS-7-x86_64-DVD-2009.iso，官方链接为http://isoredirect.centos.org/centos/7/isos/x86_64/ （3）j
Hadoop集群搭建(二)-网络配置
weixin_49001740的博客
04-29 6338
Hadoop集群搭建NAT模式网络配置
大数据框架-Hadoop安装（一主一从）
klnsGenesis的博客
04-14 666
Hadoop安装（一主一从） 操作环境介绍： 操作系统环境：centos7.6 腾讯云服务器主机（两台都是） 操作平台：宝塔界面 Hadoop版本：3.2.3 JDK版本：1.8.0_291 关闭宝塔防火墙，腾讯云控制台修改安全组，配置自己需要的ip，否则可能会有注入病毒的风险 教程正式开始 主机名配置 查看主从服务器各自的主机名 hostname 建议将主服务器修改为master 从服务器主机名修改为slave （多服务器的话后面可以加上数字区分） sudo hostnamectl set-hostn
Hadoop 集群间通用的数据同步方式
Y666_788的博客
10-20 137
在大规模数据处理和分析的环境中，数据同步是保证数据准确性和可用性的关键步骤，合理选择和配置数据同步方式对于整个数据生态系统的稳定运行至关重要。通过将数据写入 Kafka 的主题（topic），然后从主题中消费数据，并将其写入目标集群，可以实现集群间的数据同步。通过 DistCp 命令，可以将一个 Hadoop 集群中的数据复制到另一个集群中，实现集群间的数据同步。在一个大规模的 Hadoop 集群中，数据的同步和复制是非常重要的，以确保数据的一致性和可靠性。
Hadoop安装说明
12-15
Hadoop安装说明，利用JAVA调用API及MapReduce的使用。文档为本人云计算大作业，如有错误请批评指正。
hadoop安装手册
03-12
hadoop安装手册，详细介绍如何安装配置hadoop，可按照步骤进行安装
Hadoop HA高可用集群的配置-5台虚拟机集群网络属性配置
T.machine的博客
06-06 1528
CentOS 7.4-五台虚拟机集群网络属性配置 实验目的： 掌握在Linux系统中配置完全分布模式的整合平台相关的网络属性 （1）静态网络地址的配置 （2）主机名的配置 （3）防火墙的配置 （4）主机地址映射的配置 （5）免密码登录的配置 实验要求： 完成静态网络地址的配置，所有主机的网络能够正常使用，相互之间能够正常连接； 完成主机名的配置，正确设定永久主机名； 完成防火...
【Hadoop】创建Hadoop集群（3个节点）—— 安装部署一个3个节点构成的hbase集群
disy924的博客
06-27 5973
互联网的快速发展带来了数据快速增加，海量数据的存储已经不是一台机器所能处理的问题了。Hadoop的技术应运而生，对于伪分布式存储，Hadoop有自己的一套系统Hadoop distribution file system来处理，为什么分布式存储需要一个额外的系统来处理，而不是就把1TB以上的文件分开存放就好了呢，如果不采用新的系统，我们存放的东西没办法进行一个统一的管理。
Hadoop环境搭建（主机名、Ip地址、映射及网络配置）
cyjku的博客
12-10 9533
一、在安装的虚拟机上修改主机名地址 1.显示当前主机名命令： hostname 2.修改主机名命令： 方法①：输入 vi/etc/ hostname 方法②：输入 hostnamectl set -hostname 进入后在编辑模式下，删除原来的主机名，输入新的主机名 自定义主机名后，需要重启虚拟机： reboot -h now 二、修改虚拟机的IP地址: vi /etc/sysconfig/network-scripts/fcfg-ens33 修改如下...
大数据_Hadoop离线学习之三台机器的联网
Carina_____的博客
08-11 446
1.三台虚拟机网络的连接 （重点） 2.linux的增强 （部分重点） 3.linux的shell编程（重点） 4.大数据集群环境的准备（重点） 5.zookeeper （ zk的安装（重点）、zk的特性、api的操作、节点的知识（尽量搞定） ） 6.网络编程 （了解） windows 系统查看所有的服务命令 services.msc ...
Hadoop完全分布式部署(超全)
qq_27960935的博客
10-21 3343
Hadoop完全分布式部署 1、配置vm共享文件夹 注意：主要是实现window与虚拟机之间的文件共享，如果用实体机的，就不需要这步 1.1 linux系统创建共享目录 mkdir -p /work/software/share 1.2 vm配置共享文件夹 2、配置vm网络 vm安装步骤看这 三台服务器ip为： hdp01 192.168.10.133 hdp02 192.168.10.134 hdp03 192.168.10.135 3、配置虚拟机 注意：以下内容三台服务器同样配置（以第一台服务
【大数据清洗和预处理】1.6Hadoop集群配置（学习笔记）
weixin_63745352的博客
11-09 813
学习笔记
selinux的安全策略可以影响ntp的方式
最新发布
ALex_zry的博客
05-18 226
默认情况下，NTP使用UDP端口123进行通信，SELinux 策略需要允许NTP守护进程访问该端口。例如，可以创建一个策略，只允许受信任的NTP服务器与本地系统通信。：SELinux 提供了详细的日志和审计功能，可以帮助管理员监控和分析NTP守护进程的行为，以及检测任何潜在的安全问题。：SELinux 还可以限制NTP守护进程可以执行的操作，例如，是否可以打开套接字、是否可以读取或写入特定的设备等。：如果SELinux策略设置得太严格，可能会与NTP的正常操作发生冲突，导致NTP无法正常同步时间。
hadoop安装配制
09-11
Hadoop是一个开源的分布式计算系统，用于处理大规模数据集的分布式存储和处理。下面是Hadoop的安装步骤： 1. 下载Hadoop：你可以从Apache官方网站上下载Hadoop的最新版本。选择合适的版本和文件类型进行下载。 2. 解压Hadoop压缩包：将下载的压缩包解压到你想要安装Hadoop的路径下。 3. 配置环境变量：编辑你的环境变量文件（如.bashrc或.profile），将Hadoop的bin目录添加到PATH变量中。例如，在.bashrc文件中添加以下行： export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin 保存文件后，运行以下命令使其生效： source ~/.bashrc 4. 配置Hadoop：进入Hadoop的安装目录，在conf目录下找到core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml这四个配置文件，进行必要的配置。主要配置项包括文件系统的URI、数据存储路径、任务调度器等。 5. 设置SSH无密码登录：Hadoop使用SSH来管理集群节点之间的通信，因此需要设置SSH无密码登录。确保你可以通过SSH无密码登录到本地和所有集群节点。 6. 格式化HDFS文件系统：在Hadoop安装目录下执行以下命令，格式化HDFS文件系统： hdfs namenode -format 7. 启动Hadoop集群：执行以下命令启动Hadoop集群： start-dfs.sh # 启动HDFS start-yarn.sh # 启动YARN 执行以上命令后，你可以通过Web界面访问Hadoop的各个组件。 以上是基本的Hadoop安装步骤，请根据自己的需求进行相应的配置和调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值