CentOS7 搭建Hadoop伪分布式

最新推荐文章于 2024-07-16 05:41:11 发布
最新推荐文章于 2024-07-16 05:41:11 发布
阅读量1.2k 收藏 17
点赞数 2
分类专栏： CentOS 大数据 文章标签： hadoop linux 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42098002/article/details/115303690
版权

 

前言

操作前需要准备：

  1. 虚拟机镜像：CentOS-6.5-x86_64-bin-DVD1.iso
    链接：https://pan.baidu.com/s/1O9a-6Sn7riGWG3mVQssTGg  提取码：rud1
  2. jdk：jdk-8u144-linux-x64.tar.gz
    链接：https://pan.baidu.com/s/1TdaCDaT_qriDMjbYFyphPw  提取码：qulj
  3. hadoop：hadoop-2.7.2.tar.gz
    链接：https://pan.baidu.com/s/1Wt0mAUHKJDSYTUM5-u6CYw  提取码：oofe
  4. 或者官网：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

上述的如果百度云下载的慢的话，可以去各大开源论坛或者官网下载
博主使用的工具为Xshell，非常方便的一个软件，感兴趣的话可以动动自己的小手，去官网下载

本文是建立在 CentOS7已经安装，jdk也已安装好的情况下，jdk安装可以参考 jdk安装

一、前期环境配置

关闭防火墙

# 查看防火墙状态
[root@localhost dr]# firewall-cmd --state
running
# 关闭防火墙
[root@localhost dr]# systemctl stop firewalld.service
[root@localhost dr]# firewall-cmd --state
not running
# 禁止 firewall 开机启动
[root@localhost dr]# systemctl disable firewalld.service
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

修改配置hosts文件，并测试是否能ping通

# 查看本机地址 192.168.23.128

[root@localhost dr]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.23.128  netmask 255.255.255.0  broadcast 192.168.23.255
        inet6 fe80::5895:a1c7:da57:e4ad  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:a1:55:a1  txqueuelen 1000  (Ethernet)
        RX packets 213928  bytes 299951288 (286.0 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 22291  bytes 2345515 (2.2 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

# 修改配置hosts文件
[root@localhost dr]# vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.23.128 master
~

# 测试是否设置成功
[root@localhost dr]# ping master
PING master (192.168.23.128) 56(84) bytes of data.
64 bytes from master (192.168.23.128): icmp_seq=1 ttl=64 time=0.020 ms
64 bytes from master (192.168.23.128): icmp_seq=2 ttl=64 time=0.113 ms
64 bytes from master (192.168.23.128): icmp_seq=3 ttl=64 time=0.023 ms
64 bytes from master (192.168.23.128): icmp_seq=4 ttl=64 time=0.122 ms

设置免密登录

[root@localhost dr]# ssh-keygen # 一直回车
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:8CSgRg7wOr5NWlwL1A17rW3CyA9X7RkpFbvP2MAHL4A root@master
The key's randomart image is:
+---[RSA 2048]----+
|+ . ..     o.    |
| = ...+ o o o    |
|  =. ooE.= *     |
| o. . +=+ = *    |
|o  . = =So B o   |
|... o = o   O    |
| . + . .   . +   |
|  *              |
| o .             |
+----[SHA256]-----+


# 给 master 配置免密
[root@localhost .ssh]# ssh-copy-id master
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/.ssh/id_rsa.pub"
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed

/usr/bin/ssh-copy-id: WARNING: All keys were skipped because they already exist on the remote system.
                (if you think this is a mistake, you may want to use -f option)

 

二、安装Hadoop

1.解压Hadoop

  • 先把Hadoop的压缩文件放到 本地目录 /home/dr/Datafile/  这是我的目录，下文如是
     
  • 在  /usr/local/ 目录下创建 hadoop 文件夹
      
    [root@localhost /]# mkdir /usr/local/hadoop

[root@localhost /]# cd /usr/local/

[root@localhost local]# ll
total 0
drwxr-xr-x. 2 root root  6 Nov  5  2016 bin
drwxr-xr-x. 2 root root  6 Nov  5  2016 etc
drwxr-xr-x. 2 root root  6 Nov  5  2016 games
drwxr-xr-x. 2 root root  6 Mar 29 01:32 hadoop
drwxr-xr-x. 2 root root  6 Nov  5  2016 include
drwxr-xr-x. 3 root root 26 Mar 28 04:43 java
drwxr-xr-x. 2 root root  6 Nov  5  2016 lib
drwxr-xr-x. 2 root root  6 Nov  5  2016 lib64
drwxr-xr-x. 2 root root  6 Nov  5  2016 libexec
drwxr-xr-x. 2 root root  6 Nov  5  2016 sbin
drwxr-xr-x. 5 root root 49 Mar 28 01:26 share
drwxr-xr-x. 2 root root  6 Nov  5  2016 src

     

  • 把hadoop压缩包解压到 /hadoop文件下
      
    [root@localhost local]# tar -zxvf /home/dr/Datafile/hadoop-2.7.7.tar.gz -C /usr/local/hadoop/
hadoop-2.7.7/
hadoop-2.7.7/bin/
hadoop-2.7.7/bin/hadoop.cmd
hadoop-2.7.7/bin/rcc
hadoop-2.7.7/bin/test-container-executor
hadoop-2.7.7/bin/mapred
hadoop-2.7.7/bin/yarn
hadoop-2.7.7/bin/yarn.cmd
hadoop-2.7.7/bin/hadoop

    -C 才可以成功解压到指定目录

2.将Hadoop添加到环境变量

  • 获取Hadoop安装路径
      
    [root@localhost hadoop-2.7.7]# pwd
/usr/local/hadoop/hadoop-2.7.7

     

  • 编辑 /etc/profile 文件，把环境配置加在最后
      
    export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

     

  • 让修改后的文件生效，并测试Hadoop是否安装成功

      
    [root@localhost hadoop-2.7.7]# source /etc/profile

[root@localhost hadoop-2.7.7]# hadoop version
Hadoop 2.7.7
Subversion Unknown -r c1aad84bd27cd79c3d1a7dd58202a8c3ee1ed3ac
Compiled by stevel on 2018-07-18T22:47Z
Compiled with protoc 2.5.0
From source with checksum 792e15d20b12c74bd6f19a1fb886490
This command was run using /usr/local/hadoop/hadoop-2.7.7/share/hadoop/common/hadoop-common-2.7.7.jar

     

3.Hadoop目录结构

[root@localhost hadoop-2.7.7]# ll
total 112
drwxr-xr-x. 2 dr ftp   194 Jul 18  2018 bin # 存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
drwxr-xr-x. 3 dr ftp    20 Jul 18  2018 etc # Hadoop的配置文件目录，存放Hadoop的配置文件
drwxr-xr-x. 2 dr ftp   106 Jul 18  2018 include 
drwxr-xr-x. 3 dr ftp    20 Jul 18  2018 lib # 存放Hadoop的本地库（对数据进行压缩解压缩功能）
drwxr-xr-x. 2 dr ftp   239 Jul 18  2018 libexec
-rw-r--r--. 1 dr ftp 86424 Jul 18  2018 LICENSE.txt
-rw-r--r--. 1 dr ftp 14978 Jul 18  2018 NOTICE.txt
-rw-r--r--. 1 dr ftp  1366 Jul 18  2018 README.txt
drwxr-xr-x. 2 dr ftp  4096 Jul 18  2018 sbin
drwxr-xr-x. 4 dr ftp    31 Jul 18  2018 share # 存放Hadoop的依赖jar包、文档、和官方案例

 

三、Hadoop伪分布式配置（重点）

1.说明配置文件的一些注意事项

在Hadoop安装目录/etc/下创建一个 hadoop 文件夹，如果没有特别说明，所以下面所有配置文件都要进这个 /usr/local/hadoop/hadoop-2.7.7/etc/hadoop

2.配置 hadoop-env.sh（在hadoop-2.7.7/etc/hadoop/ 下）

[root@localhost hadoop]# vi hadoop-env.sh

为了方便查找我们要改的信息，在命令行模式，输入 :se nu 显示行号

然后找到25行，跟33行改成所对应的jdk目录，跟hadoop目录（注意这里是hadoo目录后面还有/ect/hadoop）

# 修改前
24 # The java implementation to use.
25 export JAVA_HOME=${JAVA_HOME}
26
27 # The jsvc implementation to use. Jsvc is required to run secure datanodes
28 # that bind to privileged ports to provide authentication of data transfer
29 # protocol.  Jsvc is not required if SASL is configured for authentication of
30 # data transfer protocol using non-privileged ports.
31 #export JSVC_HOME=${JSVC_HOME}
32
33 export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}

#修改后
24 # The java implementation to use.
25 export JAVA_HOME=/usr/local/java/jdk1.8.0_171
26
27 # The jsvc implementation to use. Jsvc is required to run secure datanodes
28 # that bind to privileged ports to provide authentication of data transfer
29 # protocol.  Jsvc is not required if SASL is configured for authentication of
30 # data transfer protocol using non-privileged ports.
31 #export JSVC_HOME=${JSVC_HOME}
32
33 export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-2.7.7/etc/hadoop

 保存并退出 ESC :wq! ,使配置文件立即生效

3.配置四个文件 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml

首先在hadoop目录下： /usr/local/hadoop/hadoop-2.7.7 ，创建一个新的 tmp 文件夹

编辑  core-site.xml

[root@localhost hadoop]# vi core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>   # master 是你自己的主机名
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/hadoop/hadoop-2.7.7/tmp</value>  # 改成你自己的文件地址
</property>
</configuration>

 编辑 hdfs-site.xml

vim  hdfs-site.xml

# 照抄

<configuration>
<property>
  <name>dfs.replication</name>
　<value>1</value>
</property>

<!--设置hdfs的操作权限，false表示任何用户都可以在hdfs上操作文件-->
<property>
　　<name>dfs.permissions</name>
　　<value>false</value>
　</property>
</configuration>

 编辑 mapred-site.xml

这个文件初始时是没有的，但是有一个模板文件，mapred-site.xml.template

所以需要拷贝一份，并重命名为mapred-site.xml，使用命令：

cp ./mapred-site.xml.template ./mapred-site.xml

 然后编辑打开 mapred-site.xml

vim mapred-site.xml

# 直接复制

<configuration>
    <property>
　　<name>mapreduce.framework.name</name>
　　<value>yarn</value>
　　</property>
</configuration>

 编辑 yarn-site.xml

vim yarn-site.xml


# 直接复制， 修改 master

<configuration>
<property>
　　　<!--指定yarn的老大 resoucemanager的地址-->
　　　<name>yarn.resourcemanager.hostname</name>:
　　　<value>master</value>
</property>　　　　　　　
<property>
      <!--NodeManager获取数据的方式-->
　    <name>yarn.nodemanager.aux-services</name>
　    <value>mapreduce_shuffle</value>
</property>
</configuration>

 编辑slaves文件

vim slaves


# 修改 localhost 为 master

四、查看及启动

 用命令 jps 查看在线的工作节点

[root@localhost hadoop]# jps
50451 Jps

# 我们可以看到没有启动hadoop，是没有任何节点在线的

格式化namenode

 在第一次安装hadoop的时候，需要对namenode进行格式化，以后请不要随便在去用这个命令格式化namenode

[root@localhost hadoop]# hadoop namenode -format

# 如果成功会有 有 successfully 提示

21/03/29 02:43:46 INFO common.Storage: Storage directory /usr/local/hadoop/hadoop-2.7.7/tmp/dfs/name has been successfully formatted.
21/03/29 02:43:46 INFO namenode.FSImageFormatProtobuf: Saving image file /usr/local/hadoop/hadoop-2.7.7/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
21/03/29 02:43:46 INFO namenode.FSImageFormatProtobuf: Image file /usr/local/hadoop/hadoop-2.7.7/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 321 bytes saved in 0 seconds.
21/03/29 02:43:46 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
21/03/29 02:43:46 INFO util.ExitUtil: Exiting with status 0
21/03/29 02:43:46 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at master/192.168.23.128
************************************************************/

 启动hadoop

因为我们已经配置hadoop的环境变量了，所以不要在sbin 目录下启动，在任何目录下直接用这个命令都能启动hadoop

直接使用这个命令

start-dfs.sh


[root@localhost hadoop]# jps
50788 DataNode
51093 Jps
50649 NameNode
50970 SecondaryNameNode


# 出现上面这些说明hadoop伪分布式配置好了。

 打开浏览器输入 http://master:50070 查看能成功打开 namenode状态信息

五、实例测试

既然已经装好了hadoop了，那么我们来试试官方给出的wordcount实例操作一下，感受hadoop的强大吧。

1.创建一个本地文件1.txt：

目录我选择为：/home/dr/test.txt

输入命令：

vim test.txt

# 输入下面内容

i like hadoop
and i like study
i like java
i like jdk
i like java jdk hadoop

# 退出保存

2.上传到hdfs文件系统上

 我的test.txt是在/home/dr/下

首先先在hdfs的根目录下创建一个input目录，使用命令：

hdfs dfs -mkdir /input

然后上传到hdfs上：（确保你当前的路径在/home/dr下）

hdfs dfs -put ./test.txt  /input

 然后查看是否成功上传：

hdfs dfs -ls /input

 3.使用命令让hadoop工作

在上面的启动hadoop中，我们只启动hdfs，没有启动yarn，因此我们先使用命令启动yarn：

start-yarn.sh

 然后直接使用命令：

# 因hadoopb版本不一致，因此解压缩后 share 文件夹内的 jar 包名版本会有些不一致
hadoop jar ./hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /input /output

我们看到hadoop已经跑起来了，最后的successful代表工作成功！ 

4.查看输出结果

hadoop工作成功后会自己在指定路径/output 生成两个文件
我们看一下

 hdfs dfs -ls /output

第一个文件/output/_SUCCESS：是表示工作成功的文件，没有具体的文本，这个我们忽略

第二个文件/output/part-r-00000：才是我们真正的输出文件

查看一下结果：

hdfs dfs -cat /output/part-r-00000

最后得出了每个单词出现的次数 

本文借鉴了 Centos Linux上安装hadoop伪分布式详细过程

Deepturn
关注
  • 2
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Centos 7中的HaDoop伪分布式安装
一叶_障目
11-22 3377
简介： windows 7中安装VMware，VMware中安装Centos 7，Centos 7中安装伪分布式HaDoop
hadoop伪分布式环境搭建（centos 7）
HuoRan0614的博客
01-26 311
虚拟机安装 1.虚拟机网络配置 （1）虚拟机设置 注：NAT机制 （2）NAT网关配置 Centos系统安装 版本：centos7 minimal 注意：注意安装时的网络配置 Centos基本设置 1.关闭图形界面： init 3 配置文件：/etc/inittab 2.添加sudo用户权限： root状态下： vi /etc/sudoers 在 ## Allow root to run ...
CentOS 7下Hadoop2.7.4伪分布搭建
烟波人的博客
08-21 5176
一、软件准备： 下载hadoop2.74版本：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz（国内服务器下载比较快） 将下载好的包进行解压：tar zxvf hadoop-2.7.4.tar.gz (我将hadoop存放在/usr/local/目录下） 校验各
在Centos7中安装Hadoop详细教程
最新发布
weixin_42732268的博客
07-16 1104
在末端添加以下代码，如果跟我路径一致，可直接复制，不一样的话，要注意自己安装路径，即上面上传解压的路径。第一个property中的Value:hdfs://zhang:9000/，修改主机名，比如我的主机名为zhang,端口号9000是固定的，特别注意下 主机名，可以使用。第二个property中的Value:hadoop的安装路径，opt/server/hadoop-2.8.0/data/，数据存储在data文件夹里。在配置文件夹/opt/server/hadoop-2.8.0/etc/hadoop/
centos 7 下安装Hadoop伪分布式
weixin_43849575的博客
01-12 705
Hadoop 在大数据技术体系中的地位至关重要，Hadoop 是大数据技术的基础。这是一篇入门文章，以安装部署 Apache Hadoop2.7.7版本为主线. 一、安装环境说明 1、操作系统：这里我们使用的是centos 7，如果没有安装，自行安装。centos 7安装链接 2、hadoop：Apache Hadoop2.7.7 3、java：这里我使用的是java8版本 百度云资源下载 提取...
Hadoop 伪分布式安装 基于CentOS 7
m0_64396734的博客
10-19 657
CentOS7配置hadoop的HDFS环境。
hadoop 2.7.4伪分布式安装（参照官网单节点安装）
kuyushow的博客
11-24 464
 1、SSH免密码登录，因为Hadoop需要通过SSH登录到各个节点进行操作，每台服务器都生成公钥，再合并到authorized_keys(root用户) root用户 (1)CentOS默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中2行的注释，每台服务器都要设置， #RSAAuthentication yes 去掉# #PubkeyAuthentica
【Hadoop】伪分布式集群搭建（CentOS7）
瘦熊的博客
12-31 2906
hadoop伪分布式集群搭建 #1. 在VMware中创建虚拟机 #2. 修改主机名、关闭防火墙、设置固定IP #3. ssh上传jdk和hadoop安装包 #4. 配置jdk环境变量、配置hadoop #5. 虚拟机克隆 #6. 配置ip映射和节点免密登陆 #7. 启动hadoop #8. hadoop集群功能测试：测试HDFS、测试MapReduce 一、在vmware中创建虚拟机 这里用的...
CentOS搭建hadoop伪分布式时遇到的错误.doc
06-09
在搭建Hadoop伪分布式环境的过程中，常常会遇到与文件系统权限相关的错误，特别是在CentOS这样的Linux发行版上。本文将详细解析标题和描述中提到的两个常见问题，并提供解决方案。 问题1：启动集群时出错：`mkdir: ...
Linux系统CentOS 7 搭建Hadoop伪分布式环境遇到问题以及解决方法
雨打芭蕉的博客
04-03 901
今天实打实的体验来一把CentOS 7搭建Hadoop伪分布式环境，也是入了很多坑，我参照Centos7.0配置Hadoop2.6.3单机/伪分布式环境这篇文章操作的，文章写得好，在此表示感谢！下面就在搭建Hadoop伪分布式环境中的坑做个记录，也希望可以帮助他人一起进步。1、bin、sbin目录不要搞错了在Linux根目录下面也有这两目录，配置完成后，执行 NameNode 的格式化时，要注意别...
VMware上CentOS7.0+Hadoop3.1伪分布式搭建
09-18
在本教程中，我们将深入探讨如何在VMware虚拟机中安装...通过这个过程，你将不仅学会如何在VMware上的CentOS7搭建Hadoop伪分布式环境，还能深入理解Hadoop的组件和工作原理，为进一步的大数据学习打下坚实的基础。
阿里云轻量应用服务器centos7搭建hadoop伪分布式集群
qq_45376684的博客
11-26 979
centos7上hadoop伪分布式集群配置 写在前面 云计算实验，hadoop完全式分布集群，没那么多服务器就搞了个伪分布式。 纯粹为了应付老师，教程是一边查一遍弄的，重复装了一次，整个实验的流程顺序很重要，步骤要是错了可能弄的东西一样但是结果不一样。其中遇到过很多错误，也并没有一一记录下来，只记录了改正后的内容。要是有跟着这个教程弄，代码或者配置没错的话，有报错可以先看参考链接里面有没有解决的方案，不行就百度吧。 教程里面那些路径，你把东西解压在哪装在哪就换成哪的路径就好，多试试就没问题了。 云服务器有
【linux】CentOS8 Hadoop伪分布式环境搭建（三台节点机）
weixin_45788900的博客
11-05 3642
文章目录前言一、伪分布式集群分别是什么？二、安装Hadoop三、伪分布式环境搭建四、启动Hadoop五、添加两个节点机 前言 1.本篇文章主要参考博客：点击进入，整合了伪分布的环境搭建和一些踩坑事项。2.环境搭建的节点机一共三台：pc1，pc2，pc3 ，其中pc1为管理机，三台节点机都使用用户Sillyhumans，如果你三台机器的用户名不一样，下面配置地址的时候可能要略作修改。3.关闭防火墙后操作 一、伪分布式集群分别是什么？ 简单来说就是一台机器上模拟多台机器的集成分布（假装自己有多台服务器） .
CentOS 7.4安装及Hadoop伪分布式配置（虚拟机：VMware）
AnswerLinWJ的博客
01-16 1958
CentOS 7.4安装及Hadoop伪分布式配置（虚拟机：VMware） CentOS 7.4安装及Hadoop伪分布式配置CentOS 7.4安装及Hadoop伪分布式配置（虚拟机：VMware）准备VMware虚拟机安装CentOs 7.4虚拟机创建CentOS 7.4安装网络配置JDK配置Hadoop伪分布式安装配置core-site.xmlhdfs-site.xml 准备 VMware 版本：14.1.3 build-9474260 CentOS7:CentOS-7-x86_64-DVD-2
hadoop二级排序,任务能正常跑完,但part-r-0000文件为空
qq_42444621的博客
06-13 3900
解决思路:1,查看日志发现map端有数据数据,并且也被reduce端接收,但并没有输出2,将debug达到reduce端中查看发现reduce端中接收的数据如下传入的键值对为空,猜测是不是Map端并没有输出,3,将断点达到Map的输出点,重新debug结果为:发现在此处Map已经将结果输出,但reduce端并没有接收4,那就是他们的中间传递出现问题,查看了自定义数据类型的类(即进行二次排序的类),...
CentOS7安装Hadoop3过程记录
a门a前一棵葡萄树的博客
11-19 1887
软件版本：CentOS Linux release 7.5.1804 (Core) 安装准备： 1、安装jdk 2、主机名不能包含下划线_ 3、配置hosts 4、配置master主机免密登录各节点 5、关闭防火墙和selinux 安装过程摘要： 1、解压安装包 2、配置环境变量 3、修改配置文件 4、目录复制到所有节点 5、namenode格式化 6、启动hadoop 7、验证 1、安装jdk 用yum安装，先查看有哪些可用的版本： yum list java* 安装
Linux SSH远程登陆
面朝大海
05-29 629
SSH
Hadoop ----HDFS MapReduce
qq_59472803的博客
11-20 1538
HDFS NameNode 负责管理DataNode 保存所有的元数据(目录的位置结构 存储的磁盘位置) 是HDFS的核心 是单点故障 一旦出现问题 整个HDFS不在对外提供服务· edits 操作日志文件 fsimage元数据文件 SecondaryNameNode 获取NameNode的数据延后将新的NameNode数据进行合并 然后再次写入NameNode中 DataNode 负责数据的存储 数据是按块存储的 hadoop 2.XXX以后 128M DataNode定时（心跳机制） 将.
Hadoop搭建，单机模式，伪分布模式，完全分布模式
qq_16543239的博客
11-21 1676
VMware网络配置，Java环境变量配置，Hadoop环境变量配置，Hadoop搭建，单机模式，伪分布模式，完全分布模式
阿里云服务器CentOS 7.2搭建Hadoop伪分布式环境指南
本文档详细介绍了如何在阿里云服务器上的CentOS 7.2环境中搭建Hadoop的伪分布式环境，以便于学习和调试。首先，我们明确了Hadoop的作用，它是Apache基金会开发的分布式系统基础架构，特别适用于处理大规模数据集和...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值