笔记-hadoop本地模式、伪分布式、分布式的搭建

最新推荐文章于 2021-05-25 21:42:26 发布
最新推荐文章于 2021-05-25 21:42:26 发布
阅读量367 收藏
点赞数
分类专栏： 笔记-hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liu_1221/article/details/95098717
版权

目录

hadoop运行环境搭建

VM虚拟机安装centos，Linux系统配置

安装Java和hadoop

JAVA安装

Hadoop安装

hadoop本地模式

本地模式grep案例

本地模式Wordcount案例

hadoop伪分布式搭建

启动HDFS并运行MapReduce程序

伪分布式下Wordcount案例

启动YARN并运行MapReduce程序

yarn下运行Wordcount

配置历史服务器

配置日志的聚集

 hadoop完全分布式

集群部署规划

SSH无密登录配置

xsync集群分发脚本

修改hadoop配置文件

核心配置文件

HDFS配置文件

YARN配置文件

MapReduce配置文件

通过xsync向集群分发配置好的Hadoop配置文件

启动集群

配置slaves

启动HDFS

启动YARN

hadoop运行环境搭建

VM虚拟机安装centos，Linux系统配置

  1. 网卡设置 
    vim /etc/udev/rules.d/70-persistent-net.rules

    删除第一个网卡，将第二条eth1改为eth0，复制ATTR{address}物理地址

    修改前
    # PCI device 0x8086:0x100f (e1000)
    SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:8b:4e:8b", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"

    # PCI device 0x8086:0x100f (e1000)
    SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:17:d4:e6", ATTR{type}=="1", KERNEL=="eth*", NAME="eth1"

    修改后如下
    SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:17:d4:e6", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"
    复制ATTR{address}中的物理地址"00:0c:29:17:d4:e6"，后面会用

  2. 设置静态IP，修改物理地址HWADDR，ONBOOT改成yes，BOOTPROTO改成static，添加ip地址，网关和dns

    vim /etc/sysconfig/network-scripts/ifcfg-eth0

    修改后内容
    DEVICE=eth0
    HWADDR=00:0c:29:17:d4:e6
    TYPE=Ethernet
    UUID=48f8d581-9014-4d85-b367-05f08b46875f
    ONBOOT=yes
    NM_CONTROLLED=yes
    BOOTPROTO=static

    IPADDR=192.168.12.101
    GATEWAY=192.168.12.2
    DNS1=192.168.12.2

    HWADDR中的物理地址是/etc/udev/rules.d/70-persistent-net.rules中ATTR{address}的数据

  3. 修改主机名，将主机名修改为hadoop101

    vim /etc/sysconfig/network

    修改为：
    NETWORKING=yes
    HOSTNAME=hadoop101

  4. 修改/etc/hosts文件

    vim /etc/hosts

    末尾添加
    192.168.12.101 hadoop101
    192.168.12.102 hadoop102
    192.168.12.103 hadoop103

    本地Windows系统hosts也添加相同信息

  5. 关闭防火墙

    service iptables stop

    设置开机时关闭防火墙

    chkconfig iptables off

  6. 添加用户并设置密码

    useradd liun
passwd liun

  7. 给新创建用户root权限

    vim /etc/sudoers

    找到“root    ALL=(ALL)       ALL”，在下一行添加“liun    ALL=(ALL)       ALL”。

reboot命令重启系统

/opt创建两个文件夹module和software，software存放压缩包，module存放解压后文件

sudo mkdir /opt/module /opt/software

设置文件夹所属用户和组

sudo chown -R liun:liun /opt/module/ /opt/software/

安装Java和hadoop

      通过工具上传jdk和hadoop到software目录

JAVA安装

  1. jdk解压到module 
    tar -zxvf /opt/software/jdk-8u144-linux-x64.tar.gz -C /opt/module/
  2. 配置java环境变量 
    sudo vim /etc/profile

    末尾添加：
    ##JAVA_HOME
    export JAVA_HOME=/opt/module/jdk1.8.0_144
    export PATH=$PATH:$JAVA_HOME/bin

  3. 使修改立即生效

    source /etc/profile

    java -version 查看是否配置成功

Hadoop安装

  1. 将上传的hadoop包解压到module目录下 
    tar -zxvf /opt/software/hadoop-2.7.2.tar.gz -C /opt/module/

  2. 配置hadoop环境变量

    sudo vim /etc/profile

    末尾添加：
    #HADOOP_HOME
    export HADOOP_HOME=/opt/module/hadoop-2.7.2
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin

  3. 使修改立即生效

    source /etc/profile

hadoop本地模式


官方网站：https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html

本地模式grep案例

hadoop目录下创建input目录

cd /opt/module/hadoop-2.7.2
mkdir input
cp etc/hadoop/*.xml input/
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input/ output 'dfs[a-z.]+'

查看输出数据

cat output/*

output输出数据
1    dfsadmin

本地模式Wordcount案例

创建wcinput目录

cd /opt/module/hadoop-2.7.2
mkdir wcinput

创建测试文本

cd wcinput
touch wc.input
vim wc.input

输入网上随意找的英文文章

Life is full of confusing and disordering Particular time,a particular location,Do the arranged thing of ten million time in the brain,Step by step ,the life is hard to avoid delicacy and stiffness No enthusiasm forever,No unexpected happening of surprising and pleasing So,only silently ask myself in mind Next happiness,when will come?

返回hadoop-2.7.2目录，测试Wordcount

cd ..
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput/ wcoutput

查看输出数据

cat wcoutput/*

wcoutput部分输出数据
,the    1
Life    1
Next    1
No    1
Particular    1
So,only    1
and    3
官方examples的wordcount并没有过滤标点


hadoop伪分布式搭建

启动HDFS并运行MapReduce程序

  1. 配置：core-site.xml，在hadoop-2.7.2目录下 
     vim etc/hadoop/core-site.xml

    添加

    <!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
    <value>hdfs://hadoop101:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

  2. 修改hadoop-env.sh，设置JAVA_HOME

    vim etc/hadoop/hadoop-env.sh

    可以用 echo $JAVA_HOME 查看JAVA_HOME
    修改为export JAVA_HOME=/opt/module/jdk1.8.0_144

  3. 配置：hdfs-site.xml，指定副本数为1（默认值为3）

    vim etc/hadoop/hdfs-site.xml

    添加

    <!-- 指定HDFS副本的数量 -->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

  4. 格式化NameNode（第一次启动时格式化）

    bin/hdfs namenode -format

  5. 启动namenode和datanode

    sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode

    jps命令查看进程是否运行

    网页访问hadoop101:50070

伪分布式下Wordcount案例

hdfs创建/user/liun/input文件夹

bin/hdfs dfs -mkdir -p /user/liun/input

上传本地文件到hdfs

bin/hdfs dfs -put wcinput/wc.input /user/liun/input

可在hadoop101:50070网页Utilities ->Browse the file system->Browse Directory输入/user/liun/input查看到

执行Wordcount案例

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/liun/input /user/liun/output

查看执行结果

bin/hdfs dfs -cat /user/liun/output/*

启动YARN并运行MapReduce程序

配置YARN

  1. 配置yarn-env.sh 
    vim etc/hadoop/yarn-env.sh

    配置一下JAVA_HOME
    export JAVA_HOME=/opt/module/jdk1.8.0_144

  2. 配置yarn-site.xml

    vim etc/hadoop/yarn-site.xml

    添加：

    <!-- Reducer获取数据的方式 -->
<property>
 	<name>yarn.nodemanager.aux-services</name>
 	<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>hadoop101</value>
</property>

     

  3. 配置：mapred-env.sh

    vim etc/hadoop/mapred-env.sh

    配置JAVA_HOME
    export JAVA_HOME=/opt/module/jdk1.8.0_144

  4. 配置：mapred-site.xml

    mv etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
vim etc/hadoop/mapred-site.xml

    添加

    <!-- 指定MR运行在YARN上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

     

启动集群

启动前必须保证NameNode和DataNode已经启动

启动resourcemanager和nodemanager

sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager

jps查看进程是否成功启动

网页输入hadoop101:8088

yarn下运行Wordcount

先删除hdfs上/user/liun/output目录

bin/hdfs dfs -rm -r /user/liun/output

 执行Wordcount

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/liun/input /user/liun/output

hadoop101:8088查看进度

配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

配置mapred-site.xml

vim etc/hadoop/mapred-site.xml

添加以下信息：

<!-- 历史服务器端地址 -->
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>hadoop101:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>hadoop101:19888</value>
</property>

启动历史服务器

sbin/mr-jobhistory-daemon.sh start historyserver

jps查看进程是否启动

hadoop101:19888/jobhistory查看JobHistory

配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

sbin/mr-jobhistory-daemon.sh stop historyserver
sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager

配置yarn-site.xml

vim etc/hadoop/yarn-site.xml

添加

<!-- 日志聚集功能使能 -->
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>

<!-- 日志保留时间设置7天 -->
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>604800</value>
</property>

重新启动NodeManager 、ResourceManager和HistoryManager

sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver

删除hdfs上/user/liun/output目录

bin/hdfs dfs -rm -r /user/liun/output

重新运行Wordcount案例

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/liun/input /user/liun/output

在JobHistory点击logs查看日志

 hadoop完全分布式

按照hadoop环境搭建步骤准备准备三台客户机hadoop101,hadoop102，hadoop103。直接克隆hadoop101，修改主机名和IP地址

集群部署规划

 hadoop101hadoop102hadoop103

HDFS

NameNode

DataNode

 

DataNode

SecondaryNameNode

DataNode
YARN

 

NodeManager

ResourceManager

NodeManager

 

NodeManager

NameNode，SecondaryNameNode和ResourceManager需要内存资源大，尽量避免在同一台机器
为了方便集群部署，编写集群分发脚本xsync，设置ssh免密登陆，方便集群通信。

SSH无密登录配置

  1. 生成公钥和私钥（hadoop101，liun用户） 
    ssh-keygen -t rsa

    一直回车就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）。

  2. 将公钥拷贝到要免密登录的目标机器上

    ssh-copy-id hadoop101
ssh-copy-id hadoop102
ssh-copy-id hadoop103

    因为集群部署规划是NameNode在hadoop101，ResourceManager在hadoop102，所以：
    还需要在hadoop101上采用root账号，配置一下无密登录到hadoop101、hadoop102、hadoop103；
    还需要在hadoop102上采用liun账号配置一下无密登录到hadoop101、hadoop102、hadoop103服务器上。

xsync集群分发脚本

  1. 在/home/liun路径下新建文件夹bin,并在bin目录下xsync创建文件 
    cd /home/liun
mkdir bin
cd bin
touch xsync
vim xsync
    说明：在/home/liun/bin这个目录下存放的脚本，liun用户可以在系统任何地方直接执行。
  2. 在该文件中编写如下代码 
    #!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=102; host<104; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done

  3. 修改脚本 xsync 权限

    chmod 777 xsync

分发/etc/profile和/opt/和 /opt/module/

xsync /etc/profile
xsync /opt/module/

 

修改hadoop配置文件

核心配置文件

配置core-site.xml，根据集群规划设置NameNode地址hadoop101节点

在该文件中编写如下配置

<!-- 指定HDFS中NameNode的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop101:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

HDFS配置文件

配置hadoop-env.sh（配置JAVA_HOME，在伪分布式时已经配置过）

配置hdfs-site.xml

增加如下配置，也可以直接删除dfs.replication，删除默认为3

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop103:50090</value>
</property>

 

YARN配置文件

配置yarn-env.sh（配置JAVA_HOME，在伪分布式时已经配置过）

配置yarn-site.xml

增加如下配置，根据集群规划设置YARN的ResourceManager的地址hadoop102节点

<!-- Reducer获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop102</value>
</property>

MapReduce配置文件

配置mapred-env.sh（配置JAVA_HOME，在伪分布式时已经配置过）

配置mapred-site.xml（指定MR运行在Yarn上，在伪分布式时已经配置过）

通过xsync向集群分发配置好的Hadoop配置文件

xsync /opt/module/hadoop-2.7.2/

格式化NameNode，格式化之前删除所有节点hadoop-2.7.2目录下的data和logs

rm -rf /opt/module/hadoop-2.7.2/data/ /opt/module/hadoop-2.7.2/logs/

所有节点删除后格式化NameNode

bin/hdfs namenode -format

启动集群

配置slaves

vim /opt/module/hadoop-2.7.2/etc/hadoop/slaves

添加

hadoop101
hadoop102
hadoop103

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

像所有节点分发slaves

xsync /opt/module/hadoop-2.7.2/etc/hadoop/slaves

如果集群是第一次启动，需要格式化NameNode

启动HDFS

NameNode配置在hadoop101节点，在hadoop101执行

sbin/start-dfs.sh

启动YARN

YARN的ResourceManager配置在hadoop102节点，在hadoop102执行

sbin/start-yarn.sh

jps查看各个节点进程是否启动

以上内容学习尚硅谷视频课程整理

2019-07-12

因为笔记本性能过低，准备了三台云服务器，部署完遇到的坑

NameNode无法启动

查看日志报错信息java.net.BindException: Problem binding to [hadoop101:9000] java.net.BindException:

删除了data和logs NameNode -format了好几次都不行

最后找的原因是云服务器公网ip不能用端口

解决办法：

hosts设置本机映射为私有网络ip，可以用ifconfig查看，其他节点映射用公网ip

NameNode 重新format

启动集群ok

云服务器8088端口访问不了

云服务器一定要设置好安全组规则，否则无法访问服务器端口

 

liu_1221
关注
专栏目录
大数据笔记（三）：HDFS集群搭建-伪分布式模式
Lansonli（蓝深李）的博客
04-24 3770
HDFS集群搭建-伪分布式模式
大数据之-Hadoop伪分布式_配置文件说明---大数据之hadoop工作笔记0029
添柴程序猿的专栏
03-24 317
然后我们来看一下这个hadoop的,各个配置文件的说明: core-default.xml 配置了namenode的主机名称和端口号,还配置了hadoop/tmp/dir hdfs-default.xml配置了数据的副本数 yarn-default.xml,yarn中有4个组件,我们这里用了两个,配置了resourcemanager,nodemanager mapred-default.xml 配置了在yarn上运行程序,默认是local,运行在本地. 我们去哪里找这个配置文件呢? ...
hadoop本地环境、伪分布式模式安装
Eddie-Wang的博客
06-13 221
1.环境准备 hadoop版本：hadoop-2.8.5，下载路径：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz 修改服务器hostname，修改一下两个文件，hostname不包含着‘.’ '/' '_'等非法字符： vi /etc/hosts vi /etc/...
大数据（一）：Hadoop的安装与本地模式、伪分布式模式、完全分布式模式配置
敲代码的旺财的博客
08-24 1080
一、大数据的四个v特征 volume 体量大 variety 样式多 velocity 速度快 valueless 价值密度低 二、Hadoop四个模块 common hdfs：包括的进程nameNode+dataNode+secondaryNameNode hadoop yarn：包括的进程resourceManager...
5分钟教你搭建Hadoop本地模式以及Hadoop伪分布式
qq_41473321的博客
11-24 565
以下不涉及完全分布式，只说明单机版和伪分布式 一，hadoop本地模式和伪分布式模式之间的区别 1.单机(非分布式)模式这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。 2.伪分布式运行模式这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,Secon...
伪分布式运行Hadoop 案例-03
kxj19980524的博客
04-01 486
本地文件运行Hadoop 案例-02 https://blog.csdn.net/kxj19980524/article/details/88935171 HDFS上运行MapReduce 程序 notpad++连接虚拟机修改配置文件https://blog.csdn.net/kxj19980524/article/details/88655985 修改hadoop-env.sh文件,en...
Hadoop的安装
Trony的博客
11-30 727
一、Hadoop的安装 1.1 安装前注意事项 Hadoop运行的前提是已经在本机安装了JDK，配置JAVA_HOME变量 在Hadoop中启动多种不同类型的进程，需要配置主机名到IP的映射 注意权限：Hadoop框架运行需要产生的很多数据，数据保存目录，必须让当前启动Hadoop进程的用户有写权限 关闭防火墙 1.2 Hadoop安装过程 进入Hadoop安装包路径下，使用tar -zxvf命令进行解压 将Hadoop添加到环境变量中 1.2.1 Hadoop目录结构 bin目录：
大数据+Hadoop3.X伪分布式集群搭建笔记+练习搭建Hadoop平台
08-08
练习搭建伪分布Hadoop3.X集群，只用于刚刚开始学习搭建hadoo伪分布式集群的人群，帮助大家快速搭建Hadoop3.X伪分布式集群，快速入门大数据为日后的学习打下坚实的基础
大数据学习笔记(十五)-- hadoop伪分布式版部署
苝花向暖丨楠枝向寒
10-08 202
伪分布式也可以成为单机版，意思就是说 hadoop集群中的所有角色均在一台机器上配置。 hadoop是java编写的所以需要jvm去执行也就是需要jdk，当机器多了以后我们跑到每一台电脑上去进行配置非常麻烦，hadoop为我们准备了脚本，我们执行脚本去登录别的机器的账号，就可以完成相应的配置。脚本不会访问etc下的profile文件。所以我们要在脚本中也配置jdk的路径和jkd下bin目录的路径...
hadoop伪分布式搭建.docx
04-16
### Hadoop伪分布式环境搭建详解 #### 一、VirtualBox 安装与配置 ##### 1. VirtualBox 安装步骤 - **选择版本**：根据文档提供的信息，选择 VirtualBox 的版本为 6.0.8 版本。 - **安装程序启动**：双击安装包...
hadoop-mapreduce-examples-2.7.1.jar
06-03
hadoop-mapreduce-examples-2.7.1.jar
hadoop-mapreduce-examples-2.6.5.jar
10-23
hadoop-mapreduce-examples-2.6.5.jar 官方案例源码
hadoop-mapreduce-examples-2.7.1-sources.jar
08-14
hadoop中的demo，wordcount列子用到的JAR包 用法： # 在容器里运行WordCount程序，该程序需要2个参数：HDFS输入目录和HDFS输出目录 hadoop jar hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount input output
MapReduce简介
intmiss的博客
10-29 946
MapReduce MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）“和"Reduce（归约）”，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并...
hadoop安装与配置（本地模式）
lihuan1124的博客
06-22 1209
hadoop版本:hadoop-2.7.2虚拟机安装前期配置：IP地址、IP与主机映射、关闭防火墙一、安装java jdk   1、下载java jdk1.8版本，放在/home/software目录下，   2、解压：tar -zxvf java-jdk*****.jar   3、vim ~/.bash_profile12345#添加export JAVA_HOME=root/app/jdk1....
Hadoop安装和配置
江湖行骗老中医
04-11 1573
注意：安装JDK类似，解压后配置环境变量 0. Hadoop下载地址： https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/ 1. 用SecureCRT工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面 切换到sftp连接页面，选择Linux下编译的hadoop jar包拖入，如图...
Hadoop问题：Input path does not exist: hdfs://Master:9000/user/hadoop/input
热门推荐
weixin_34194317的博客
03-03 1万+
问题描述： org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://Master:9000/user/hadoop/input at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.sing...
大数据之Hadoop环境搭建以及初始用
weixin_39594476的博客
04-11 318
一 Hadoop组成 Haddop HDFS：一个高可靠，高吞吐量的分布式文件系统 Hadoop MapReduce：一个分布式的离线并行计算框架 Hadoop YARN：作业调度和资源管理的框架 Hadoop Common：支持其他模块的工具模块 HDFS架构概述 NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性，以及每个文件的块列表和块所在的DataNode等。 ...
Hadoop2.7.2 伪分布式操作
NEFU AB-IN's Blog
05-25 465
NOTE
Hadoop3.x伪分布式集群搭建教程：从零入门实战
本篇笔记详细介绍了如何在Hadoop 3.X环境下搭建伪分布式集群，旨在为初学者提供一个实践基础。首先，文章强调了虚拟机环境的准备，因为搭建Hadoop集群通常在虚拟机上进行，以避免对实际生产环境的影响。以下是搭建...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值