【阿里云/腾讯云】搭建 Hadoop 伪分布式环境实验

最新推荐文章于 2021-11-23 11:38:41 发布
最新推荐文章于 2021-11-23 11:38:41 发布
阅读量414 收藏 2
点赞数 1
分类专栏： 教程 云实验 文章标签： 阿里云 python hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dive668/article/details/118867045
版权

【阿里云/腾讯云】搭建 Hadoop 伪分布式环境

体验链接

搭建Hadoop环境–阿里云

搭建 Hadoop 伪分布式环境–腾讯云

腾讯云实验（意外中断）

1.教程环境和说明

软硬件环境

CentOS 7.2 64 位
OpenJDK- 1.8
Hadoop- 2.7

关于本教程的说明

云实验室云主机自动使用 root 账户登录系统，因此本教程中所有的操作都是以 root 用户来执行的。若要在自己的云主机上进行本教程的实验，为了系统安全，建议新建一个账户登录后再进行后续操作。

2.安装 SSH 客户端

安装SSH
安装SSH：

sudo yum install openssh-clients openssh-server

安装完成后，可以使用下面命令进行测试：

ssh localhost

在这里插入图片描述

输入 root 账户的密码(通过sudo passwd root进行重置)，如果可以正常登录，则说明SSH安装没有问题。测试正常后使用 exit 命令退出ssh。

3.安装 JAVA 环境

安装 JDK

使用 yum 来安装1.7版本 OpenJDK：

sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel

安装完成后，输入 java 和 javac 命令，如果能输出对应的命令帮助，则表明jdk已正确安装。

配置 JAVA 环境变量

执行命令:
编辑 ~/.bashrc,(通过vim实现)在结尾追加：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

在这里插入图片描述

保存文件后执行下面命令使 JAVA_HOME 环境变量生效:

source ~/.bashrc

在这里插入图片描述

为了检测系统中 JAVA 环境是否已经正确配置并生效，可以分别执行下面命令:

java -version

在这里插入图片描述

$JAVA_HOME/bin/java -version

在这里插入图片描述

若两条命令输出的结果一致，且都为我们前面安装的 openjdk-1.8.0 的版本，则表明 JDK 环境已经正确安装并配置。

4.安装 Hadoop

下载 Hadoop
本教程使用 hadoop-2.7 版本，使用 wget 工具在线下载（注：本教程是从清华大学的镜像源下载，如果下载失败或报错，可以自己在网上找到国内其他一个镜像源下载 2.7 版本的 hadoop 即可）：

wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz

阿里云实验

1.创建资源

创建资源

2.连接ECS服务器

  1. 资源创建完毕后，双击 LX终端图标 即可打开shell终端窗口。
  2. 在终端中输入连接命令ssh [username]@[ipaddress]后按键盘enter键。您需要将username和ipaddress替换成ECS服务器的登录名和公网地址，ECS服务器的登录名和公网地址可在第一小节中的 云产品资源 下拉列表中查看。例如：
    在这里插入图片描述
ssh root@139.xxx.xxx.230

  1. 输入yes，该操作表示同意继续连接。执行该操作后，您将会收到输入登录密码的提示。

  2. 输入登录密码。密码为已创建的ECS服务器的登录密码。注意输入密码时不会有任何显示。

  3. 成功连接后如下图所示：
    在这里插入图片描述

  4. 体验过程中可以收起子用户信息来更完整查看实验手册。
    在这里插入图片描述

3. 安装JDK

安装JDK

  1. 执行以下命令，下载JDK1.8安装包。
wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

在这里插入图片描述
2. 执行以下命令，解压下载的JDK1.8安装包。

tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

在这里插入图片描述
3. 执行以下命令，移动并重命名JDK包。

mv java-se-8u41-ri/ /usr/java8
  1. 执行以下命令，配置Java环境变量。
echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

在这里插入图片描述
5. 执行以下命令，查看Java是否成功安装。

java -version

如果返回以下信息，则表示安装成功。
在这里插入图片描述

4. 安装Hadoop

安装Hadoop

  1. 执行以下命令，下载Hadoop安装包。
    注意：阿里云实验室此wget链接已经失效。因为清华源的hadoop版本已经更新。替换实验中所有的hadoop-2.9.2为hadoop-3.2.2
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz

在这里插入图片描述
2. 执行以下命令，解压Hadoop安装包至/opt/hadoop。

tar -zxvf hadoop-3.2.2.tar.gz -C /opt/
mv /opt/hadoop-3.2.2 /opt/hadoop

在这里插入图片描述
在这里插入图片描述

  1. 执行以下命令，配置Hadoop环境变量。
echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile

在这里插入图片描述
4. 执行以下命令，修改配置文件yarn-env.sh和hadoop-env.sh。

echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh

在这里插入图片描述
5. 执行以下命令，测试Hadoop是否安装成功

hadoop version

如果返回以下信息，则表示安装成功。
在这里插入图片描述

5. 配置Hadoop

配置Hadoop

1. 修改Hadoop配置文件 core-site.xml。

a. 执行以下命令开始进入编辑页面。

vim /opt/hadoop/etc/hadoop/core-site.xml

在这里插入图片描述
b. 输入i进入编辑模式。

c. 在<configuration></configuration>节点内插入如下内容。

    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/tmp</value>
        <description>location to store temporary files</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

在这里插入图片描述
d. 按Esc键退出编辑模式，输入:wq保存退出。

2. 修改Hadoop配置文件 hdfs-site.xml。

a. 执行以下命令开始进入编辑页面。

vim /opt/hadoop/etc/hadoop/hdfs-site.xml

b. 输入i进入编辑模式。

c. 在<configuration></configuration>节点内插入如下内容。

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/data</value>
    </property>

在这里插入图片描述
d. 按Esc键退出编辑模式，输入:wq保存退出。

6. 配置SSH免密登录

配置SSH免密登录

  1. 执行以下命令，创建公钥和私钥。
ssh-keygen -t rsa

在这里插入图片描述
2. 执行以下命令，将公钥添加到authorized_keys文件中。

cd .ssh
cat id_rsa.pub >> authorized_keys

在这里插入图片描述

7. 启动Hadoop

启动Hadoop

  1. 执行以下命令，初始化namenode 。
hadoop namenode -format

在这里插入图片描述
2. 依次执行以下命令，启动Hadoop。

start-dfs.sh

WARNING: Use of this script to execute namenode is deprecated.
WARNING: Attempting to execute replacement “hdfs namenode” instead.
警告：不推荐使用此脚本来执行 namenode。
警告：尝试执行替换“hdfs namenode”。

在这里插入图片描述
替换命令为hdfs namenode的执行效果

hdfs namenode

在这里插入图片描述
在这里插入图片描述
如下命令执行出错：

start-yarn.sh

在这里插入图片描述

两种解决ERROR: Attempting to operate on hdfs namenode as root的方法

两种解决ERROR: Attempting to operate on hdfs namenode as root的方法
在这里插入图片描述
输入如下命令使改动生效

source /etc/profile

在这里插入图片描述
成功启动

  1. 启动成功后，执行以下命令，查看已成功启动的进程。
jps

在这里插入图片描述

  1. 打开浏览器访问http://<ECS公网地址>:8088和http://<ECS公网地址>:50070，显示如下界面则表示Hadoop伪分布式环境搭建完成。

在这里插入图片描述

在这里插入图片描述

第二个页面实际出错了，不管他
在这里插入图片描述

TIGER1693
关注
专栏目录
Centos安装hadoop
qq_39141360的博客
10-24 271
  1.省略centos安装过程。。iso镜像地址从阿里云镜像上下载，ip地址的网段看innet8的网段。 2.设置IP地址、网关DNS 说明：CentOS 7.0默认安装好之后是没有自动开启网络连接的！ cd  /etc/sysconfig/network-scripts/ vi  ifcfg-eno33 TYPE=Ethernet PROXY_METHOD=none BROWS...
Hadoop伪分布式配置(在阿里云服务器上搭建)
weixin_43880490的博客
01-19 681
一.搭建前的准备 下载相关的软件jdk,hadoop jdk-8u212-linux-x64.tar.gz: 链接:https://pan.baidu.com/s/1ymwv3szGCsQHmsPCq1ZSjA 密码:qhcn hadoop-2.6.0-cdh5.9.0.tar.gz安装包: http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0...
腾讯云搭建伪分布式Hadoop集群
Beans___Lee的博客
03-29 628
所谓伪分布式模式，就是一种单机模式。实际情况中只有一个节点（主机），适合于学习，但不适用于实际的开发环境。这也是官方提供的模式之一。具体的配置过程也可以参照https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 环境： 腾讯云服务器一台（单核2G内存，...
hadoop伪分布式安装-腾讯云
smallpizza的博客
04-16 2445
最近学习hadoop，为了方便，于是我在腾讯云上安装部署了 hadoop伪分布式 环境： 腾讯云——1G内存，20G硬盘，1M带宽； 系统是Ubuntu16 java是jdk-8u101-linux-x64.tar（下载地址：http://download.csdn.net/detail/qinxike/9600178） hadoop版本是hadoop-2.6.5.tar.gz（下载地址
阿里云搭建hadoop伪分布式
cnheasy
08-27 337
购买机器 地址：https://www.aliyun.com/product/ecs?spm=5176.12825654.eofdhaal5.2.e9392c4acVBgPk 使用root登录机器 创建用户 $ useradd hadoop $ vi /etc/sudoers # 找到root ALL=(ALL) ALL，添加 hadoop ALL=(ALL) NO...
跨阿里云和腾讯云搭建分布式Hadoop(只有HDFS)集群
m0_63984008的博客
11-11 254
又几个月没写过文章了，今天随便写一写吧。 由于实际需要需要研读HDFS的源码，最好的方法就是加一些日志看NameNode是怎么运行的，又经常在外面，所以就需要在公网上搭一个分布式的Hadoop（只有HDFS）集群，有两个DataNode节点即可。但实际情况是我有一个阿里云服务器，有一个腾讯云服务器。联想到Hadoop可以跨机架，跨机房进行搭建，想了想从原理上来讲的话，这样应该也是可行的，于是抱着试一试的心态开始搭建跨云服务器（机房）的Hadoop集群。 我的阿里云服务器的公网IP为a11.b11.c11
Hadoop系列 (一)：在CentOS中搭建hadoop环境（伪分布式)
Eric Ray的博客
06-15 1884
在CentOS中搭建hadoop环境（伪分布式)，在阿里云ECS中搭建hadoop环境，yarn-site.xml等配置文件详解及问题分析
为什么搭建分布式Hadoop(只有HDFS)集群，跨阿里云和腾讯云呢？
m0_64346584的博客
11-23 230
又几个月没写过文章了，今天随便写一写吧。 由于实际需要需要研读HDFS的源码，最好的方法就是加一些日志看NameNode是怎么运行的，又经常在外面，所以就需要在公网上搭一个分布式的Hadoop（只有HDFS）集群，有两个DataNode节点即可。但实际情况是我有一个阿里云服务器，有一个腾讯云服务器。联想到Hadoop可以跨机架，跨机房进行搭建，想了想从原理上来讲的话，这样应该也是可行的，于是抱着试一试的心态开始搭建跨云服务器（机房）的Hadoop集群。 我的阿里云服务器的公网IP为a11.b11.c11
Hadoop系列(二)：完全分布式搭建（腾讯云服务器+阿里云服务器）
Eric Ray的博客
07-18 2268
hadoop集群完全分布式搭建，腾讯云hadoop搭建，阿里云hadoop搭建，mapreduce使用，hadoop配置文件core-site.xml, yarn-site.xml, mapred-site.xml， hdfs-site.xml配置文件详解
Hadoop完全分布式环境(虚拟机)搭建过程
29DCH的博客
10-11 663
开始集群之路
云服务器上搭建大数据伪分布式环境
07-16
本文档是笔者基于阿里云服务器CentOS 7.2搭建的Hadoop伪分布式环境，其中用到的一些工具，如：远程终端Xshell 6、文件传输软件Xftp 6。此文档亦可在其他Linux操作系统中运行，可能其中命令稍有区别，请加以注意。
Centos7 + Hadoop3 搭建伪分布式集群
01-07
操作系统：Centos7 Java：jdk-8u162-linux-x64 hadoop：hadoop-3.2.1 终端连接软件：SecureCRT 关于Centos7的网络配置可以看我的另一篇博客：Centos7的网络配置 一、利用SecureCRT上传文件到root目录 二、关闭防火墙 按顺序执行命令：iptables -F;iptables -X;iptables -Z;iptables -L、iptables-save、setenforce 0 vi /etc/selinux/config 改：SELINUX=Enfocing—>SELINUX=disable 三、ssh免密登录
centos安装hadoop超级详细
09-20
在centos环境下安装hadoop。有详细的过程，代码分析。还有详细的操作逻辑。
大数据hadoop，centos7的安装
05-30
安装成功后，启动hdfs 格式化文件系统（仅第一次执行即可，不要重复执行）：hdfs/hadoop namenode -format 启动hdfs: sbin/start-dfs.sh 验证是否启动成功： jps DataNode SecondaryNameNode NameNode 浏览器访问方式： http://hadoop000:50070
在腾讯云下搭建hadoop伪分布式系统
留歌__36的博客
10-26 2797
Apache的Hadoop是可靠的、可扩展的开发开源软件，分布式计算。 Apache Hadoop软件库是一个框架，允许使用简单的编程模型在计算机集群中对大型数据集进行分布式处理。它被设计成从单个服务器扩展到数千台机器，每个机器都提供本地计算和存储。而不是依靠硬件来提供高可用性，库本身的目的是检测和处理应用层的故障，因此在一组计算机上提供高可用性服务，每一台计算机都容易出现故障。 该项目包括这
hadoop 阿里云伪分布式配置
u013986038的博客
05-03 1170
伪分布式配置（主要问题是阿里云安全组规则一定要配置，其次是vim /etc/hosts  里面是内网ip对应主机名，vim slaves  是外网ip对应主机名）输入ifconfig查看内网ip地址其中inet addr后即为内网ip由于我买的阿里云系统是Ubuntu  所以关闭防火墙操作如下  centos关闭操作与此不同输入ufw disable  （关闭防火墙）Firewall stoppe...
阿里云上安装伪分布式hadoop
a6821122的专栏
01-18 571
一.主要设计到的点 1 安装jdk 2 ssh免密码登录 3 安装hadoop 二.下载适合的jdk版本，根据系统的位数下载，此处是64位的， 下载地址为https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 把 jdk-8u201-linux-x6...
Hadoop环境搭建之伪分布式运行模式
12-23 1148
搭建Hadoop环境搭建Hadoop环境一、开通阿里云ECS服务器二、连接服务器三、安装JDK四、安装Hadoop五、配置Hadoop（伪分布式运行模式）六、配置SSH免密登录七、启动Hadoop 搭建Hadoop环境 一、开通阿里云ECS服务器 1.创建实例 2.实例创建完成后，列表如下 二、连接服务器 1.打开系统自带的终端工具。 Windows: PowerShell Ubuntu: Terminal 2.在终端中输入连接命令ssh [username]@[ipaddress]。需要将其中的use
阿里云服务器上的Hadoop伪分布式和完全分布式的搭建
fseast的博客
07-18 1242
目录伪分布式运行模式搭建 接上篇：虚拟机上的Hadoop伪分布式和完全分布式的搭建 伪分布式运行模式 搞来了三台阿里云服务器： 镜像：都是CentOS 7 JDK版本是1.8， Hadoop版本是2.7.2，与上一篇虚拟机搭建用的软件包一致。 搭建 基本步骤与上一篇一样，配置文件需要配置的内容也都一样。这里只说使用阿里云服务器搭建与虚拟机不同的地方。 在/etc/hosts文件配置除了需要配置外网...
阿里云服务器CentOS 7.2搭建Hadoop伪分布式环境指南
本文档详细介绍了如何在阿里云服务器上的CentOS 7.2环境中搭建Hadoop的伪分布式环境，以便于学习和调试。首先，我们明确了Hadoop的作用，它是Apache基金会开发的分布式系统基础架构，特别适用于处理大规模数据集和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值