Hadoop集群安装的简易操作

最新推荐文章于 2022-09-01 10:09:52 发布
最新推荐文章于 2022-09-01 10:09:52 发布
阅读量276 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chunfenxiaotaohua/article/details/83449484
版权

基于Hadoop分布式集群的搭建

对于Hadoop集群的搭建，一直处于摸索状态，但这个在数据挖掘中确实相当的重要，所以总结如下：

ssh免密登录

  1. 安装ssh客户端
$ sudo apt-get install openssh-client

安装完客户端后，它携带了一些其他的SSH工具，比如ssh-keygen用于生成公钥/私钥对，scp用于通过SSH远程复制文件，sftp用于实现安全FTP传输。安装完成后，马上可以在服务器上进行测试。

ssh localhost

在这里插入图片描述
此时一般会没有什么反应会显示出ssh: Could not resolve hostname locasthost: Name or service not known
接着输入

ssh-keygen -t rsa

会出现
点击三次Enter后如上图所示
此时输入

ssh-copy-id -i ~/.ssh/id_rsa.pub node2@192.168.61.128
也有人输入 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys（不建议）

说明一下：我的主机是node1（192.168.61.128），需要免密登录的是node2(192.168.61.129)和node3（192.168.61.130）
接着就是 输入

gedit /etc/ssh/ssh_config

输入

#RSAAuthentication yes
#PubkeyAuthentication yes

最后一步就是（ssh服务器下载）

sudo apt-get install openssh-server
ssh localhost

到此就完成了如图单机模式完成

测试部分（这部分也重要）需要输入：ssh 主机名@IP地址

ssh node2@192.168.61.129

如果正确会看到：
在这里插入图片描述
** hadoop安装**

2.基于Hadoop的安装过程

（1）Hadoop的下载
由于我用的是校园网下载，对于Hadoop的下载可能会比较慢，但此处还是要分享一些下载的网站(会很慢)

https://archive.apache.org/dist/hadoop/common/hadoop-3.0.0-alpha4/

分享一个百度云链接（绝对安全）

链接：https://pan.baidu.com/s/1JfhOISRnS88XPCT6pAHrzQ 
提取码：qxrk

下载完成后进行安装
复制到/usr/local/hadoop/目录下
然后输入

tar -zxvf hadoop-3.0.1.tar.gz

解压，解压后的目录为/usr/local/hadoop/hadoop-3.0.1/(非常重要，必须确定安装的位置，在后期的教科书上没有说明位置只有操作是很难弄明白按照步骤操作还会报错)此时输入cd /usr/local/hadoop/hadoop-3.0.1 进入Hadoop-3.0.1文件夹下，在输入

 ./bin/hadoop -version

正常会看到Hadoop的版本信息（没有也没事）
（2）在相应的目录下建立新的目录（特别说明一定要看好位置，不然后期报错没法找原因）
我们的文件夹建立在/usr/local/hadoop/目录下（注：特别提醒，在查看了许多书和网上经验后始终认为没有人强调这个问题，但对于刚接触这个东西的人而言，却是非常重要的）
在/usr/local/hadoop/目录下，建立tmp、hdfs/name、hdfs/data目录，执行如下命令（并非/usr/local/hadoop/hadoop-3.0.1）

mkdir /usr/local/hadoop/tmp 
mkdir /usr/local/hadoop/hdfs 
mkdir /usr/local/hadoop/hdfs/data 
mkdir /usr/local/hadoop/hdfs/name

与此同时需要配置环境变量（包括jdk的环境变量）

gedit /etc/profile/
export JAVA_HOME=/usr/local/java/jdk1.8.0_191
export PATH=/usr/local/java/jdk1.8.0_191/bin:$PATH
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export HADOOP_HOME=/usr/local/hadoop/hadoop-3.0.1
export PATH=$PATH:$HADOOP_HOME/bin

添加如下指令行（可能会多余但笔者从巨坑里爬出来的，所以已成惊弓之鸟就添加了）

# set hadoop path
export HADOOP_HOME=/usr/local/hadoop/hadoop-3.0.1
export PATH=$PATH:$HADOOP_HOME/bin

配置完成后使其生效输入

source /etc/profile/

如果重系统后又要输入source /etc/profile/才能运行java和Hadoop，那么可以用如下办法进行处理
在终端输入

gedit /etc/bash.bashrc/

进入后在顶端重新输入

export JAVA_HOME=/usr/local/java/jdk1.8.0_191
export PATH=/usr/local/java/jdk1.8.0_191/bin:$PATH
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export HADOOP_HOME=/usr/local/hadoop/hadoop-3.0.1
export PATH=$PATH:$HADOOP_HOME/bin

退出后再输入source /etc/profile即可。
（3）Hadoop文件的配置
1.配置hadoop-env.sh

gedit  /usr/local/hadoop/hadoop-3.0.1/etc/hadoop/hadoop-env.sh

进入后找到这个界面

后在其下面添加（#不能丢）

# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/local/java/jdk1.8.0_191

Ctrl+s后退出
2.配置yarn-env.sh

在终端输入

gedit  /usr/local/hadoop/hadoop-3.0.1/etc/hadoop/yarn-env.sh

进入文档后看到这个位置时
输入（#不能丢）：

#export YARN_PROXYSERVER_OPTS=
#The java implementation to usr
export JAVA_HOME=/usr/local/java/jdk1.8.0_191

Ctrl+s后退出。
3.配置core-site.xml
在终端输入

gedit  /usr/local/hadoop/hadoop-3.0.1/etc/hadoop/core-site.xml

进入文件后看到
输入

<configuration>
 <property>
    <name>fs.default.name</name>
    <value>hdfs://127.0.0.1:9000</value>
    <description>HDFS的URI，文件系统://namenode标识:端口号</description>
  </property>

  <property>
     <name>hadoop.tmp.dir</name>
     <value>/usr/local/hadoop/tmp</value>
     <description>namenode上本地的hadoop临时文件夹</description>
  </property> 
</configuration>

说明如下：
127.0.0.1可以换成localhost（正常配置为localhost）
Ctrl+s后退出
4.配置hdfs-site.xml
在终端输入

gedit  /usr/local/hadoop/hadoop-3.0.1/etc/hadoop/hdfs-site.xml

进入文件后会看到

输入：

<configuration>
  <property>
     <name>dfs.name.dir</name>
     <value>/usr/local/hadoop/hdfs/name</value>
     <description>namenode上存储hdfs名字空间元数据 </description>
   </property>
   <property>
      <name>dfs.data.dir</name>
      <value>/usr/local/hadoop/hdfs/data</value>
      <description>datanode上数据块的物理存储位置</description>
   </property>
   <property>
      <name>dfs.replication</name>
      <value>1</value>
      <description>副本个数，配置默认是3,应小于datanode机器数量</description>
   </property>
</configuration>

ctrl+s后退出
5.mapred-sit.xml配置
在终端输入

gedit  /usr/local/hadoop/hadoop-3.0.1/etc/hadoop/mapred-site.xml

会看到
输入

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
</configuration>

ctrl+s后退出
6.配置yarn-site.sml
在终端输入

gedit  /usr/local/hadoop/hadoop-3.0.1/etc/hadoop/yarn-site.xml

会看到

输入

<configuration>

<!-- Site specific YARN configuration properties -->
  <property>
     <name>yarn.nodemanager.aux-services</name> 
     <value>mapreduce_shuffle</value>
   </property>

   <property> 
      <name>yarn.resourcemanager.webapp.address</name>
      <value>127.0.0.1:8099</value>
      <description>这个地址是mr管理界面的</description>
    </property>
</configuration>

说明：127.0.0.1为主机的IP，可以更改但不能随意为自己定的分布式集群的IP，8009为端口号一定要记住且不能为9000，别的自己设定，一旦设定就不能忘记，后面会有用的。
到此所有的文件均已配置完毕。

3.启动及测试

（1）格式化namenode
输入

cd /usr/local/hadoop/hadoop-3.0.1/bin
./hdfs namenode-format

如果成功会出现“successfully formatted” 和 “Exitting with status 0”但我的没有出现，一般不影响

（2）启动NameNode 和 DataNode 守护进程及secondary namenodes

cd /usr/local/hadoop/hadoop-3.0.1
./sbin/start-dfs.sh

如果运行脚本报如下错误,

ERROR: Attempting to launch hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting launch.
Starting datanodes
ERROR: Attempting to launch hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting launch.
Starting secondary namenodes [localhost.localdomain]
ERROR: Attempting to launch hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting launch.
解决办法是：

gedit  /usr/local/hadoop/hadoop-3.0.1/sbin/start-dfs.sh

第二行加入

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

即可
再输入

gedit  /usr/local/hadoop/hadoop-3.0.1/sbin/stop-dfs.sh

输入

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

即可
（3）启动ResourceManager 和 NodeManager 守护进程

cd  /usr/local/hadoop/hadoop-3.0.1
./sbin/start-yarn.sh

如果启动时报如下错误，

Starting resourcemanager
ERROR: Attempting to launch yarn resourcemanager as root
ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting launch.

解决方案（也是由于缺少用户定义）
输入

/usr/local/hadoop/hadoop-3.0.1/sbin/start-yarn.sh

在第二行输入

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

再输入

/usr/local/hadoop/hadoop-3.0.1/sbin/start-yarn.sh

在第二行输入

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

（4）启动Hadoop
到此基本完成
输入

cd /usr/local/hadoop/hadoop-3.0.1/sbin/
./start-all.sh

会看到在这里插入图片描述
到此基本完成
再输入jps会看到在这里插入图片描述
还差最后一步，在web界面验证
输入

http://127.0.0.1:8099

说明此处的127.0.0.1:8099为在hdfs中配置的IP和端口号
如果成功会看到在这里插入图片描述
到此全部完成。
注：在此特别引用来自https://blog.csdn.net/CoffeeAndIce/article/details/78879151?utm_source=blogxgwz0的博客，可以参考一下

爱未眠花未开
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop
tiantianspring的专栏
01-16 270
有一个文件，大小为 1T，有没有可能只用一台计算机（普通计算机，配置不高，内存 不可能放下该文件）来查找出文件中的重复行？ 思路 1： 读出第一行，然后读出第二行，比较第一行是否和第二行重复，然后从内存中清除第 二行，再读入第三行与第一行比较，然后再清除第三行，当第一行与最后一行比较完后， 从第二行开始再与之后的行比较，类似于冒泡排序的思想。 思路 2： 将大文件拆分为小文件，读出一
部署Hadoop（3.3.0）伪分布式集群
xys2333的博客
11-01 1677
前言: 本文主要介绍部署Hadoop（3.3.0）伪分布式集群 注：本文部署伪分布式集群的前提是已经装好hadoop（3.3.0）以及jvm。 一、什么叫做伪分布式？ 顾名思义，伪分布就是假分布式，假就假在只有一台机器而不是多台机器来完成一个任务,但是模拟了分布式的这个过程，所以伪分布式下Hadoop也就是虽然在一个机器上配置了hadoop的所有节点，但伪分布式完成了所有分布式所必须的事件。伪分布式Hadoop和单机版最大区别就在于需要配置HDFS。 二、配置伪分布式Hadoop集群 1...
搭建虚拟机hadoop时，输入./sbin/start-dfs.sh启动hadoop，解决ERROR: Attempting to operate on hdfs namenode
qq_46555632的博客
10-15 4635
启动hadoop时发生如下错误： [root@localhost ~]# cd /usr/local [root@localhost local]# cd hadoop [root@localhost hadoop]# ./sbin/start-dfs.sh Starting namenodes on [localhost] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_
namenode和datanode无法启动解决方案
一扣解千愁的博客
11-02 1万+
安装Hadoop（伪分布式环境）namenode和datanode无法启动解决方案 先附上我参考的安装教程链接 10.1.88.4/index_1.php?url=http://www.msftconnecttest.com/redirect 我在执行./start-all.sh之后发现，没有任何错误提示，输入jps得到如下结果： [hadoop@localhost ...
hadoop集群启动失败YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root
weixin_55008454的博客
09-01 4440
错误原因： Hadoop中没有默认root的用户，需要手动添加 添加再顶部 最后分发到其他节点
hadoop集群安装简易版.docx
04-08
在这个简易版的Hadoop集群安装过程中，我们选择了Hadoop 2.6.5版本，这是一个经过广泛验证且相对稳定的发行版，可以从Apache官方镜像站下载。对于操作系统，选择了CentOS release 6.9作为基础环境，它是一个被广泛...
基于Ubuntu的Hadoop简易集群安装与配置
08-19
通过本实验的学习和实践，我们不仅掌握了Hadoop的基本原理和关键技术，还能够独立完成Hadoop集群的安装与配置。这对于进一步探索大数据领域的其他技术和应用具有重要意义。未来，随着数据量的持续增长和技术的不断...
Hadoop集群高可用与性能优化
04-22
Hadoop MapReduce是一个使用简易的编程模型,基于它写出来的应用程序能够运行在由成千上万个商用机器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。本文对Hadoop平台下的HDFS和MapReduce分别进行...
基于hadoop的简易云盘实现.zip
最新发布
03-13
7. **扩展性**：云盘服务需要随着用户和数据的增长而扩展，所以理解如何在Hadoop集群中添加或移除节点是必要的。 8. **安全性**：云盘服务通常涉及用户隐私，因此，数据加密、访问控制和安全策略的实施是必须考虑的...
hadoop集群部署之双虚拟机版
11-19
通过以上步骤，我们可以成功地在一个由一台物理机器支撑的双虚拟机环境中部署一个简易的Hadoop集群。这种集群虽然规模较小，但对于学习Hadoop的基本原理和技术细节来说已经足够。同时，通过实践这些步骤，还可以加深...
异常：hadoop启动时namenode节点找不到以至于启动不起来
世界之大
03-08 6647
问题描述：启动hadoop时有三个节点：namenode、datanode和secondarynamenode，结果只有两个启动了，而namenode节点报找不到的错误。输入了jps发现：[root@lmy-pc hadoop]# jps3819 SecondaryNameNode4058 Jps3667 DataNode进入日志logs文件夹中，发现只有datanode和secondearyna...
四、Hadoop初探：伪分布式模式
chengzhufu5164的博客
05-27 164
1、配置 1.1 core-site.xml配置 位置：$HADOOP_HOME/etc/hadoop/core-site.xml <configuration> <property> <name>f...
关于hadoop namenode初始化失败显示localhost.localdomain: 未知的名称或服务解决办法。
梦在waterloo
05-03 1万+
[root@localhost hadoop-1.1.2]# bin/hadoop namenode -format 13/05/04 02:12:46 INFO namenode.NameNode: STARTUP_MSG:  /************************************************************ STARTUP_MSG: Startin
大数据之Hadoop集群安装和搭建
weixin_51788950的博客
08-29 764
大数据之Hadoop集群安装和搭建
Hadoop开发过程中所遇到的那些坑
什么最重要？算法！！
12-25 1万+
核心内容： 1、Hadoop开发过程中常见问题即解决方案 在Hadoop开发的过程中，我们总是遇到各种各样的问题，今天就整理总结一下： 万能的解决步骤：6个检查+查看具体日志 在Hadoop开发的过程中如果遇到各种异常，首先使用jps命令查看进程的启动是否正常，然后在去查看相关的日志文件，但是在查看相关日志之前，你可以先检查一下面几点： 1、防火墙原因：检查各个节点的防火墙是否关闭成
hadoop的配置和启动
云守护的专栏
12-15 4057
在centOS测试成功！ 1、设置静态IP 设置完成后重启网卡 service network restart 一定要设置 验证:ifconfig 2、修改主机名： hostname hadoop gedit /etc/sysconfig/network 改成hadoop 验证：重启机器 3、绑定hostname和ip gedit /etc/hosts 增加 192.
hadoop运行jar包出现错误代码为127的解决方案_Exit code: 127
chenjie的博客
09-28 6010
今天在运行程序的时候新发现的一个错误(Exit code: 127)，下面提供解决方案，希望能帮助大家。下面是错误的信息： Job job_1601252515583_0001 failed with state FAILED due to: Application application_1601252515583_0001 failed 2 times due to AM Container for appattempt_1601252515583_0001_000002 exited with ex
oracle linux yum 使用不了,报错:Couldn't resolve host 'public-yum.oracle.com'
呆瓜呆呆的专栏
12-17 1万+
目的: 安装 oracle 11gR2 rac 环境: oracle linux6.3, virtrualBox 安装 rac 参考的文档: http://www.lab128.com/rac_installation_using_vb/article_text_ch.html 1.在使用 yum 安装的时候报错 [root@rac1 yum.repos.d]# yum install o
sudo时出现unable to resolve host 的解决方法
热门推荐
skh2015java的博客
04-30 4万+
Ubuntu环境, 假设这台机器名字叫abc(机器的hostname), 每次执行sudo 就出现这个警告讯息:sudo: unable to resolve host abc虽然sudo 还是可以正常执行, 但是警告讯息每次都出来,而这只是机器在反解上的问题, 所以就直接从/etc/hosts 设定, 让abc(hostname) 可以解回127.0.0.1 的IP 即可.解决方法1.    v...
Hadoop权限管理
不精通则死
12-26 1952
摘自：http://dongxicheng.org/mapreduce/hadoop-permission-management/ 1. 介绍 本文介绍的Hadoop权限管理包括以下几个模块： （1） 用户分组管理。用于按组为单位组织管理，某个用户只能向固定分组中提交作业，只能使用固定分组中配置的资源；同时可以限制每个用户提交的作业数，使用的资源量等 （2） 作业管理。包括作业提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值