hadoop安装及简单的使用

已于 2022-03-03 16:55:09 修改
阅读量5.2k 收藏 22
点赞数 3
分类专栏： Hadoop 文章标签： 算法 python 开发语言
于 2022-03-03 16:50:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/faramita_of_mine/article/details/123192295
版权

hadoop安装及简单的使用

一、hadoop运行环境搭建

1.环境准备

  安装 hadoop 需要使用 Linux 系统，同时需要熟练使用 Linux 章节的全部命令，如果没有 Linux 基础建议先学习 Linux 基础。

相关工具下载地址：

2.安装 centos7 虚拟机并配置远程访问和静态 ip，配置完成后通过命令 systemctl restart network 重启网络服务。

BOOTPROTO='static'
IPADDR='192.168.88.130'
NETMASK='255.255.255.0'
GATEWAY='192.168.88.2'
DNS1='192.168.88.2'

BOOTPROTO：获取 ip 方式，设置为静态的，该值默认是 dhcp（动态分配 ip）

IPADDR：ip 地址

NETMASK：掩码

GATEWAY：网关，由虚拟机的虚拟网络编辑器中提供。

DNS1：域名解析服务器，一般由网关提供。

如果想要配置虚拟机的网段，可以在 VM 的>编辑>虚拟网络配置
在这里插入图片描述
修改主机名（主机名与ip对应） vi /etc/hostname

hadoop130

修改主机映射，在 /etc/hosts 文件加入如下映射

192.168.88.130 hadoop130 
192.168.88.131 hadoop131 
192.168.88.132 hadoop132 
192.168.88.133 hadoop133 
192.168.88.134 hadoop134

为了方便后面从 hdfs 上下载文件，windows 本地 host 文件也加入上面映射

3.禁用防火墙

systemctl stop firewalld #停止firewall 
systemctl disable firewalld #禁止firewall开机启动

4.创建目录 /opt/module/，将 hadoop-2.7.2.tar.gz ，jdk-8u144-linux-x64.tar.gz 上传到该目录并解压。

5.配置 jdk 和 hadoop 的环境变量

vi /etc/profile

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

source /etc/profile

6.hadoop version 和 java -version 判断环境变量是否可用。

二、hadoop 目录结构

  • bin 启动程序目录：存放对 Hadoop 相关服务（HDFS，YARN）进行操作的脚本
  • etc 配置目录：Hadoop 的配置文件目录，存放 Hadoop 的配置文件
  • lib 依赖目录：存放 Hadoop 的本地库（对数据进行压缩解压缩功能）
  • sbin 超级管理员目录：存放启动或停止 Hadoop 相关服务的脚本
  • share 官方案例目录：存放 Hadoop 的依赖jar包、文档、和官方案例

三、hadoop 本地模式

  简单的解压和配置环境变量就可以运行本地模式，下面我们运行官方 WordCount 案例

  在 hadoop-2.7.2 目录下创建 input 文件夹

  将 hadoop 的 xml 配置文件复制到 input 文件夹

cp etc/hadoop/*.xml input

  执行 share 目录下的 MapReduce 程序 wordcount

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput

  查看输出目录 output 结果

cat wcoutput/*

四、hadoop 伪分布式模式

  1.配置：hadoop-env.sh

  修改里面的 JAVA_HOME

echo $JAVA_HOME
/opt/module/jdk1.8.0_144

export JAVA_HOME=/opt/module/jdk1.8.0_144

  2.配置：core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop101:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

  3.配置：hdfs-site.xml

<!-- 指定HDFS副本的数量 -->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

  4.格式化 NameNode（第一次启动时格式化，以后就不要总格式化，如果真的需要格式化，删除 /opt/module/hadoop-2.7.2/data 目录后再格式化）

bin/hdfs namenode -format

  5.启动 NameNode

sbin/hadoop-daemon.sh start namenode

  6.启动 DataNode

sbin/hadoop-daemon.sh start datanode

  7.查看集群是否启动成功

jps
13586 NameNode
13668 DataNode
13786 Jps

  注意：jps 是 JDK 中的命令，不是 Linux 命令。不安装 JDK 不能使用 jps

在 windows 的 web 端查看 HDFS 文件系统，建议配置 host 文件使其能正常映射到 centos7，如果不配置，后面将无法通过浏览器获取上传的分布式文件系统中的文件。

http://hadoop101:50070/dfshealth.html#tab-overview

测试案例
（a）在 HDFS 文件系统上创建一个 input 文件夹

bin/hdfs dfs -mkdir -p /user/input

（b）将测试文件里面全部的内容上传到文件系统上

bin/hdfs dfs -put input/* /user/input/

（c）查看上传的文件是否正确

bin/hdfs dfs -ls /user/input/ 
bin/hdfs dfs -cat /user/input/*

（d）运行MapReduce程序

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/input/ /user/output

（e）查看输出结果 命令行查看：

bin/hdfs dfs -cat /user/output/*

（f）将测试文件内容下载到本地

hdfs dfs -get /user/output/part-r-00000 ./wcoutput/

（g）删除输出结果

hdfs dfs -rm -r /user/output

练习：

1.安装 centos 后安装配置 hadoop 本地模式，并截图提交操作步骤。

五、伪分布式 YARN 运行

  YARN 是一个资源管理、任务调度的框架，主要包含三大模块：ResourceManager（RM）、 NodeManager（NM）、ApplicationMaster（AM）。 ResourceManager 负责所有资源的监控、分配和管理； ApplicationMaster 负责每一个具体应用程序的调度和协调； NodeManager 负责每一个节点的维护。 对于所有的 applications，RM 拥有绝对的控制权和对资源的分配权。而每个 AM 则会和 RM 协商资源，同时和 NodeManager 通信来执行和监控 task。

  1.配置：yarn-env.sh

  修改 JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

  2.配置 yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop101</value>
</property>

  3.配置 mapred-env.sh

  修改 JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

  4.配置： (对 mapred-site.xml.template 重新命名为) mapred-site.xml

<!-- 指定MR运行在YARN上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

  5.启动 yarn

  启动前必须保证 NameNode 和 DataNode 已经启动

  启动 ResourceManager

sbin/yarn-daemon.sh start resourcemanager

  启动 NodeManager

sbin/yarn-daemon.sh start nodemanager

  YARN的浏览器页面查看

  http://hadoop101:8088/cluster
（a）删除文件系统上的 output 文件

bin/hdfs dfs -rm -R /user/output

（b）执行 MapReduce 程序

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/input /user/output

（c）在浏览器查看运行过程

（d）查看运行结果

bin/hdfs dfs -cat /user/output/*

yarn的运行流程

  • 用户向 YARN 中提交应用程序，其中包括 ApplicationMaster 程序、启动 ApplicationMaster 的命令、用户程序等。
  • ResourceManager 为该应用程序分配第一个 Container，并与对应的 Node-Manager 通信，要求它在这个 Container 中启动应用程序的 ApplicationMaster。
  • ApplicationMaster 首先向 ResourceManager 注册，这样用户可以直接通过 ResourceManager 查看应用程序的运行状态，然后它将为各个任务申请资源，并监控它的运行状态，直到运行结束，即重复步骤4~7。
    ApplicationMaster 采用轮询的方式通过 RPC 协议向 ResourceManager 申请和领取资源。
  • 一旦 ApplicationMaster 申请到资源后，便与对应的 NodeManager 通信，要求它启动任务。
  • NodeManager 为任务设置好运行环境（包括环境变量、JAR 包、二进制程序等）后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务。
  • 各个任务通过某个 RPC 协议向 ApplicationMaster 汇报自己的状态和进度，以让 ApplicationMaster 随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务。 在应用程序运行过程中，用户可随时通过 RPC 向 ApplicationMaster 查询应用程序的当前运行状态。
  • 应用程序运行完成后，ApplicationMaster 向 ResourceManager 注销并关闭自己。

六、伪分布式启动历史服务器

  为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

1.配置：mapred-site.xml

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop101:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop101:19888</value>
</property>

2.启动历史服务器

sbin/mr-jobhistory-daemon.sh start historyserver

3.查看历史服务器是否启动

jps

4.web 查看 JobHistory

http://hadoop101:19888/jobhistory

七、伪分布式配置日志的聚集

  日志聚集概念：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上。 日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

  注意：开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和 HistoryManager。

开启日志聚集功能具体步骤如下：

1.配置 yarn-site.xml

<!-- 日志聚集功能使能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 日志保留时间设置7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

2.关闭 NodeManager 、ResourceManager 和 HistoryManager

sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager
sbin/mr-jobhistory-daemon.sh stop historyserver

3.启动 NodeManager 、ResourceManager和 HistoryManager

sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver

4.删除 HDFS 上已经存在的输出文件

bin/hdfs dfs -rm -R /user/output

5.执行 WordCount 程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/input /user/output

6.查看日志

http://hadoop101:19888/jobhistory
在这里插入图片描述
在这里插入图片描述

八、hadoop 集群模式

  1.scp（secure copy）安全拷贝

  scp 定义： scp 可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

基本语法
scp    -r        $pdir/$fname                $user@hadoop$host:$pdir/$fname
命令   递归       要拷贝的文件路径/名称        目的用户@主机:目的路径/名称

  案例实操
（a）在 hadoop102 上，将 hadoop102 中 /opt/module 目录下的软件拷贝到 hadoop103，hadoop104 上。

scp -r /opt/module root@hadoop102:/opt/module

（b）将 hadoop102 中 /etc/profile 文件拷贝到hadoop103，hadoop104

配置环境变量

vi /etc/profile

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

source /etc/profile

注意：拷贝过来的配置文件别忘了 source 一下 /etc/profile

  2.rsync 远程同步工具

  rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更新。scp 是把所有文件都复制过去。如果 centos 没有安装，使用 yum install -y rsync 安装。

基本语法
rsync    -rvl       $pdir/$fname              $user@hadoop$host:$pdir/$fname
命令     选项参数    要拷贝的文件路径/名称       目的用户@主机:目的路径/名称

选项参数说明

选项 功能

-r 递归

-v 显示复制过程

-l 拷贝符号连接

案例实操
（a）把hadoop102机器上的/opt/software目录同步到hadoop103服务器的root用户下的/opt/目录

rsync -rvl /opt/software/ root@hadoop102:/opt/software

xsync 集群分发脚本

需求：循环复制文件到所有节点的相同目录下

在/usr/local/bin目录下，创建 xsync 文件 chmod 777 xsync

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount == 0)); then
echo no args;
exit;
fi #结束 if

#2 获取文件名称
p1=$1
fname = `basename $p1`
echo fname = $fname

#3 获取上级目录到绝对路径
pdir = `cd -P $(dirname $p1); pwd`
echo pdir = $pdir

#4 循环
for((host = 103; host < 105; host++)); do
    echo ------------------- hadoop$host --------------
    rsync -rvl $pdir/$fname root@hadoop$host:$pdir
done

  3.集群规划与配置
在这里插入图片描述
（1）配置 core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop131:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

（2）配置 hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

（3）配置 hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop133:50090</value>
</property>

（4）配置yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

（5）配置 yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop132</value>
</property>

（6）配置 mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

（7）配置mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<!-- 指定MR运行在Yarn上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

（8）将配置好的131分发文件到132,133

xsync /opt/module/hadoop-2.7.2/

如果集群是第一次启动，需要格式化 NameNode

hadoop namenode -format

（9）配置集群启动的主机

vi /opt/module/hadoop-2.7.2/etc/hadoop/slaves

hadoop102
hadoop103
hadoop104

（10）SSH无密登录配置

一个 ssh 可以远程多个系统，在输入密码的情况下可以彼此访问，而 hadoop 群起时就需要免密登录，那就得将彼此间生成的密钥对存入对方的授权库中。

生成公钥和私钥

ssh-keygen -t rsa

ssh-copy-id hadoop131
ssh-copy-id hadoop132
ssh-copy-id hadoop133

注意：自己登录自己也要密码，所以也要把将公钥拷贝到自己身上。

在 131 上群起 hadoop 集群

start-dfs.sh

在 132 上启动 yarn

start-yarn.sh

分别到 132，133 上使用 jps 命令查看启动的是否与表格规划一致

web 查看 http://hadoop104:50090/status.html

停止只需要在对应启动的服务器上执行对应的 stop-dfs.sh 和 stop-yarn.sh

faramita_of_mine
关注
  • 3
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hadoop学习使用
weixin_43206536的博客
10-04 2160
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、hadoop的作用？hadoop是什么？hadoop能做什么？hadoop能为我司做什么？二、hadoop的配置1.引入库2.读入数据问题及解决解决办法：1、操作Hadoop时，改变了配置文件，报错ls: Call From hadoop01/192.168.1.128 to hadoop01:9000 failed on connection总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发
Hadoop是什么，能干什么，怎么使用
热门推荐
专注于后端开发，时常接触大数据 、人工智能等
09-29 5万+
本文档实现目标 希望用比较容易理解的语言解释Hadoop是个什么样的工具，回答Hadoop是什么，能干什么，怎么使用三个问题，尽量不涉及技术细节。 1、Hadoop是什么 1.1、小故事版本的解释 小明接到一个任务：计算一个100M的文本文件中的单词的个数，这个文本文件有若干行，每行有若干个单词，每行的单词与单词之间都是以空格键分开的。对于处理这种100M量级数据的计算任务，小明感觉很轻松...
手把手教你hadoop入门
最新发布
ren2042609942的博客
04-23 700
所谓集群是指一组独立的计算机系统构成的一多处理器系统，它们之间通过网络实现进程间的通信，让若干台计算机。该模式可以形象的比喻为：一个餐厅的厨房只有一个人，这个人既要买菜、又要切菜、还要炒菜，效率很低！该模式可以形象的比喻为：一个餐厅的厨房只有一个人，这个人既要买菜、又要切菜、还要炒菜，效率很低！该模式可以形象的比喻为：一个餐厅的厨房有三个人，一个人买菜、一个人切菜、一个人炒菜，效率提高了！该模式可以形象的比喻为：一个餐厅的厨房有三个人，一个人买菜、一个人切菜、一个人炒菜，效率提高了。
3.3 学习笔记 Hadoop集群配置
qq_62847100的博客
10-28 1213
hadoop
Hadoop简介、安装与环境变量配置
focus：Follow One Cause Until Success
07-06 3371
Hadoop是由Apache基金会开源的具有可靠、可扩展、分布式计算的大数据框架。Hadoop可以简单的从单个服务器扩展到数千台机器，提供分布式的计算和存储服务。Hadoop通过检测和处理应用程序层的故障来为服务器集群提供高可用性服务。
超详细版Hadoop的安装与使用（单机/伪分布式）
m0_46555031的博客
01-15 2342
超详细版Hadoop的安装与使用（单机/伪分布式）
hadoop的简单安装.pdf
04-13
在Hadoop的简单安装过程中，我们通常会遵循以下步骤： 1. **创建Hadoop用户**： - 首先，我们需要在Linux系统（如CentOS7）上创建一个新的用户，比如名为`hadoop-lidou`。这个用户将拥有sudo权限，以便执行需要...
实验1 安装Hadoop.doc
09-24
教大家怎么安装Hadoop的一个文档： 1、掌握Linux虚拟机的搭建； 2、掌握Linux的常用命令及操作； 3、熟练掌握Hadoop安装及配置； 4、了解Hadoop的简单应用。
hadoop之impala简单使用共8页.pdf.zip
10-29
【标题】：“Hadoop之Impala简单使用共8页.pdf” 【内容概览】： 本资料主要涵盖了Hadoop生态系统中的Impala的简单使用方法。Impala是Cloudera公司开发的一种开源、分布式、大规模并行处理（MPP）查询引擎，它与...
Hadoop是不是必须在linux上运行？(根本原因是操作系统Linux的权限开放优势)
Coder-coco的博客
08-17 175
对于开发者而言，linux的开放与自由给了我们无限的可能性，我们能看到程序是如何运行的，运行报错也会有友好的提示。windows下运行hadoop的话，无非两种方法，一是搭建虚拟机，然后安装linxu系统。不管是在linux系统，还是在windows系统上， 搭建集群环境，都需要提供linxu系统（因为linux系统的权限优势）。对于开发人员而言，这种设计理念是无法接受的，一旦要做出一些超越封装好的功能之外的事情，就会出现各种难以意料的情况。只需要按照指示去操作。，而且很多情况下，这些问题是无解的。
Hadoop详细入门知识
githubcurry
10-17 5859
现在的我们，生活在数据大爆炸的年代。2020年，全球的数据总量达到44ZB，经过单位换算后，至少在440亿TB以上，也就是说，全球每人一块1TB的硬盘都存储不下。扩展: 数据大小单位，从小到大分别是: byte、kb、mb、Gb、Tb、PB、EB、ZB、DB、NB...单位之间的转换都是满足1024一些数据集的大小更远远超过了1TB，也就是说，数据的存储是一个要解决的问题。同时，硬盘技术也面临一个技术瓶颈，就是硬盘的传输速度(读数据的速度)的提升远远低于硬盘容量的提升。
Hadoop集群配置（二）免密登录和集群配置
学而知之@的博客
05-20 1703
写在开头： 难难难道德玄，不对知音不可谈，对了知音谈几句，不对知音枉费舌尖~~ 咱们书接上回，上一篇写完了基础环境的配置，这篇就来说硕同样重要的免密登录，当然还有Hadoop集群的配置。 2.1 三台linux服务器环境准备 1. 三台机器IP设置 三台机器修改ip地址： # 对网库进行设置 vi /etc/sysconfig/network-scripts/ifcfg-ens33 # hadoop版本IP设置 BOOTPROTO="static" IPADDR=192.168.32.100 NETMA
实验一-Hadoop的安装与使用
weixin_51942429的博客
11-07 2885
大数据技术原理与应用-实验一-Hadoop的安装与使用，其中包括一些Hadoop集群安装时遇到的问题及解决方法。
java hadoop教程,Hadoop教程（一）
weixin_35179252的博客
03-19 654
Hadoop从这里开始!和我一起学习下使用Hadoop的基本知识，下文将以Hadoop Tutorial为主体带大家走一遍如何使用Hadoop分析数据!这个专题将描述用户在使用Hadoop MapReduce(下文缩写成MR)框架过程中面对的最重要的东西。Mapreduce由client APIs和运行时(runtime)环境组成。其中client APIs用来编写MR程序，运行时环境提供MR运行...
Hadoop部署和简单使用
xiejiali2020的博客
06-28 2962
一．部署 1.     安装jdk并配置环境变量 将jdk下载到根目录下：wget地址  解压：tar -zxvf  jdk-8u172-linux-x64.tar.gz 配置环境变量：vim/etc/profile #set java environment export JAVA_HOME=/jdk1.8.0_172 export JAVA_BIN=/jdk1.8.0_172/b...
Hadoop入门（一篇就够了）
阿甘兄
02-28 7044
文章目录01 引言02 Hadoop概述2.1 Hadoop定义2.2 Hadoop优势2.3 Hadoop组成2.3.1 HDFS2.3.2 MapReduce2.3.3 YARN2.4 Hadoop工作方式2.4.1 Hadoop的主从工作方式2.4.2 Hadoop的守护进程03 Hadoop的安装04 Hadoop 高可用4.1 Hadoop高可用的解决方案4.1.1 ZooKeeper quorum4.1.2 ZKFC05 Hadoop 任务调度器5.1 FIFO 调度器5.2 容量调度器（Cap
GitChat·大数据 | 史上最详细的Hadoop环境搭建
技术杂谈
09-05 4万+
GitChat 作者：鸣宇淳 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。
hadoop(一)–安装和基本使用
panda-star的博客
04-13 890
hadoop(一)–安装和基本使用 文章目录hadoop(一)--安装和基本使用一、简介1.1 hadoop特点1.2 hadoop组成二、hadoop关键配置文件2.1 core-site.xml2.2 hdfs-site.xml2.3 mapred-site.xml和yarn-site.xml2.4 hadoop-env.sh三、hadoop安装前准备3.1 jdk安装3.2 设置免密登录四、...
"Hadoop安装配置详解及环境搭建教程
Hadoop安装配置流程.doc文件中详细介绍了Hadoop的安装与环境搭建教程，包括图解和文字说明。首先介绍了在VMWare中设置共享文件夹，以便在Linux操作系统和Windows系统之间互相传输文件。然后详细介绍了在VMWare中安装...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

faramita_of_mine

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值