hadoop3.x入门到精通-阶段一(安装集群)

已于 2022-06-29 13:59:55 修改
阅读量523 收藏
点赞数
分类专栏： Hadoop 文章标签： 大数据
于 2022-06-29 13:52:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/S1124654/article/details/125513240
版权

Hadoop概述

Hadoop是什么？

官网：https://hadoop.apache.org/

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，主要就是解决数据存储和数据分析计算的问题（通过HDFS，YARN，MapReduce实现）。分布式就是多个服务器做同样的一件事。

广义上来说，hadoop通常指hadoop生态圈。

Hadoop发展历史

　　在2003至2004年，Google陆续公布了部分GFS和MapReduce思想的细节，Nutch的创始人Doug Cutting受到启发，用了若干年时间实现了DFS和MapReduce机制，使Nutch性能飙升。

　　2005年，Hadoop作为Lucene子项目Nutch的一部分正式被引入Apache基金会，随后又从Nutch中剥离，成为一套完整独立的软件，起名为Hadoop。据说，Hadoop这个名字来源于创始人Doug Cutting儿子的毛绒玩具大象，因此，Hadoop的Logo形象如图1所示。

目前，Hadoop已经正式成为Apache顶级开源项目，俨然已经成为大数据处理技术的核心地位。下面我们回顾一下近10年来Hadoop的主要发展历程。

　　· 2008年1月，Hadoop成为Apache顶级项目。

　　· 2008年6月，Hadoop的第一个SQL框架——Hive成为了Hadoop的子项目。

　　· 2009年7月 ，MapReduce 和 Hadoop Distributed File System (HDFS) 成为Hadoop项目的独立子项目。

　　· 2009年7月 ，Avro 和 Chukwa 成为Hadoop新的子项目。

　　· 2010年5月 ，Avro脱离Hadoop项目，成为Apache顶级项目。

　　· 2010年5月 ，HBase脱离Hadoop项目，成为Apache顶级项目。

　　· 2010年9月，Hive脱离Hadoop，成为Apache顶级项目。

　　· 2010年9月，Pig脱离Hadoop，成为Apache顶级项目。

　　· 2010年-2011年，扩大的Hadoop社区忙于建立大量的新组件(Crunch，Sqoop，Flume，Oozie等)来扩展Hadoop的使用场景和可用性。

　　· 2011年1月，ZooKeeper 脱离Hadoop，成为Apache顶级项目。

　　· 2011年12月，Hadoop1.0.0版本发布，标志着Hadoop已经初具生产规模。

　　· 2012年5月，Hadoop 2.0.0-alpha版本发布，这是Hadoop-2.x系列中第一个(alpha)版本。与之前的Hadoop-1.x系列相比，Hadoop-2.x版本中加入了YARN，YARN成为了Hadoop的子项目。

　　· 2012年10月，Impala加入Hadoop生态圈。

　　· 2013年10月，Hadoop2.0.0版本发布，标志着Hadoop正式进入MapReduce v2.0时代。

　　· 2014年2月，Spark开始代替MapReduce成为Hadoop的默认执行引擎，并成为Apache顶级项目。

　　· 2017年12月，继Hadoop3.0.0的四个Alpha版本和一个Beta版本后，第一个可用的Hadoop 3.0.0版本发布。

Hadoop三大发行版本

Hadoop三大发行版本：Apache、Cloudera、Hortonworks。

　　· Apache版本最原始（最基础）的版本，对于入门学习最好。2006

　　· Cloudera内部集成了很多大数据框架，对应产品CDH。2008

　　· Hortonworks文档较好，对应产品HDP。2011。

　　· Hortonworks现在已经被Cloudera公司收购，推出新的品牌CDP。

hadoop的优势 

Hadoop是一个能够让用户轻松构建和使用的分布式计算平台。用户可以轻松地在Hadoop上开发、运行需要处理海量数据的应用程序。它主要有以下几个优点。

（1）高可靠性。Hadoop按位存储和处理数据的能力值得信赖。

（2）高扩展性。Hadoop通过在可用的计算机集簇间分配数据来完成计算任务，这些集簇可以方便地扩展到数以千计的节点中。

（3）高效性。Hadoop能够在节点之间动态地移动数据，以保证各个节点的动态平衡，因此其处理速度非常快。

（4）高容错性。Hadoop能够自动保存数据的多份副本，并且能够自动将失败的任务重新分配。

Hadoop架构变迁（1.0-2.0变迁）

  • Hadoop 1.0
    HDFS（分布式文件存储）
    MapReduce（资源管理和分布式数据处理）

  • Hadoop 2.0
    HDFS（分布式文件存储）
    MapReduce（分布式数据处理）
    YARN（集群资源管理、任务调度）

 首先我们来看一下致命性的变化，就是1.0版本到2.0版本的变迁，因为hadoop发展到现在，大概经历了三个大的版本变化，我们仔细对比一下，发现底层都是hdfs，没有什么变化，也就是说，数据怎么存的，没有什么变化。
  1.0到2.0最大的变化，就是对MR进行了大的拆分，并且引入了一个新的组件，叫做YARN。大家可以看下图，我们发现，这个mapReduce这个组件太累了，他除了要做集群的资源管理，还要做数据的处理，这一个组件身兼数职，并且这两件事情都非常的重要，那他的性能能好吗？
  完全不行啊，所以呢，到2.0版本之后，hadoop做了一个非常大的构架变化，就是把MR做了拆分，MR你只负责处理数据就可以了，资源管理的事情，交给专门的组件来做，这个组件就是YARN，并且YARN这个组件做的非常通用，不仅支持MapReduce，还支持其他的计算框架，什么Spark，Flink等。目前市面上1.0基本上没什么人用了，但是2.8、2.9这些还是有在用。

Hadoop架构变迁（3.0新版本）

Hadoop 3.0架构组件和Hadoop 2.0类似,3.0着重于性能优化。

我们可以看一下，2.0到3.0的版本，构架已经没有大的改变了，一个软件要是天天变构架，那就太搓了，3.0版本侧重的是性能的优化，就比如说支持cup的多重运算、支持多重备份，并且内部的数据支持动态平衡，并且存储效率变高了，采用删码存储等等。以上就是hadoop各个版本之间的一些区别。

  • 通用方面
    精简内核、类路径隔离、shell脚本重构

  • Hadoop HDFS
    EC纠删码、多NameNode支持

  • Hadoop MapReduce
    任务本地化优化、内存参数自动推断

  • Hadoop YARN
    Timeline Service V2、队列配置

Hadoop架构概述

HDFS概述

HDFS 遵循主/从架构，由单个 NameNode(NN) 和多个 DataNode(DN) 组成：

  • NameNode : 负责执行有关 文件系统命名空间 的操作，例如打开，关闭、重命名文件和目录等。它同时还负责集群元数据的存储，记录着文件中各个数据块的位置信息。
  • DataNode：负责提供来自文件系统客户端的读写请求，执行块的创建，删除等操作。

YARN概述 

Apache YARN (Yet Another Resource Negotiator) 是 hadoop 2.0 引入的集群资源管理系统。用户可以将各种服务框架部署在 YARN 上，由 YARN 进行统一地管理和资源分配。

YARN架构：

MapReduce概述 

Hadoop MapReduce 是一个分布式计算框架，用于编写批处理应用程序。编写好的程序可以提交到 Hadoop 集群上用于并行处理大规模的数据集。

MapReduce 作业通过将输入的数据集拆分为独立的块，这些块由 map 以并行的方式处理，框架对 map 的输出进行排序，然后输入到 reduce 中。MapReduce 框架专门用于 <key，value> 键值对处理，它将作业的输入视为一组 <key，value> 对，并生成一组 <key，value> 对作为输出。输出和输出的 key 和 value 都必须实现Writable 接口。

(input) <k1, v1> -> map -> <k2, v2> -> combine -> <k2, v2> -> reduce -> <k3, v3> (output)

MapReduce编程模型简述

  

Linux环境准备

集群规划注意

  • 角色规划的准则 : 根据软件工作特性和服务器硬件资源情况合理分配，比如依赖内存工作的NameNode是不是部署在大内存机器上？
  • 角色规划注意事项：资源上有抢夺冲突的，尽量不要部署在一起，工作上需要互相配合的。尽量部署在一起

集群角色规划例子

安装Linux虚拟机3台，内存4G，硬盘50G

资料下载

vm,centos7

链接：https://pan.baidu.com/s/1gP1vLKCWMou1znb71qtA4Q 
提取码：yyds 


jdk1.8

链接：https://pan.baidu.com/s/1AN2GCDtpVqCDPaeNZQ6THg 
提取码：yyds 
 

hadoop

链接：https://pan.baidu.com/s/1F7cPSzfmtZLtRJuLP5D4FA 
提取码：yyds 

linux配置

防火墙，关闭防火墙开机自启

systemctl stop firewalld
systemctl disable firewalld.service

关闭selinux

1、临时关闭：输入命令setenforce 0，重启系统后还会开启。

2、永久关闭：输入命令vi /etc/selinux/config，将SELINUX=enforcing改为SELINUX=disabled，然后保存退出。

创建bigdata用户，并修改bigdata用户的密码

useradd bigdata
passwd bigdata

配置bigdata用户具有root权限

vim /etc/sudoers
## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL

## Allows people in group wheel to run all commands
%wheel  ALL=(ALL)       ALL
bigdata   ALL=(ALL)     NOPASSWD:ALL

注意：atguigu这一行不要直接放到root行下面，因为所有用户都属于wheel组，你先配置了atguigu具有免密功能，但是程序执行到%wheel行时，该功能又被覆盖回需要密码。所以atguigu要放到%wheel这行下面。

在/opt目录下创建文件夹，并修改所属主和所属组

mkdir /home/bigdata/module
mkdir /home/bigdata/software
chown bigdata:bigdata /home/bigdata/module
chown bigdata:bigdata /home/bigdata/software

  • /home/bigdata/software : 用来放安装包
  • /home/bigdata/module：用来放解压后的安装包。

卸载虚拟机自带的JDK

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
  • rpm -qa：查询所安装的所有rpm软件包
  • grep -i：忽略大小写
  • xargs -n1：表示每次只传递一个参数
  • rpm -e –nodeps：强制卸载软件

配置网络例子:

vim /etc/sysconfig/network-scripts/ifcfg-ens33
DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.10.102
PREFIX=24
GATEWAY=192.168.10.2
DNS1=192.168.10.2

注意：上面的配置更具自己的网络。

修改主机名

vim /etc/hostname
hadoop102

配置Linux克隆机主机名称映射

vim /etc/hosts

例子：

192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103

修改windows的主机映射文件

192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104

剩下的就是

  • 配置集群ssh免密登录
  • 配置jdk环境

配置集群ssh免密登录

ssh-keygen (生成秘钥)

ssh-copy-id hadoop102 (把公钥拷贝到对应的机器)

配置JDK环境变量

sudo vim /etc/profile.d/my_env.sh
#JAVA_HOME
export JAVA_HOME=/home/bigdata/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

集群分发脚本(xsync) 脚本使用例子./xsync ../module/hadoop-3.2.3/(分发hadoop到集群其他机器)

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
  echo ====================  $host  ====================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done

总结：

  • 关闭防火墙，关闭selinux避免集群之间通信干扰
  • 创建非root用户，相对的保证了集群操作的安全性
  • 创建集群的工作环境
  • 卸载本机自带的jdk，安装jdk1.8
  • 配置集群的hosts(hadoop访问的时候需要域名)
  • 配置ssh方便集群之间文件的分发还有其他的免密操作
  • 最终结果（bigdata用户xsync可以直接分发文件到集群,java环境配置好）

Hadoop完全分布式集群安装

Hadoop重要目录

（1）bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本

（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件

（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）

（4）sbin目录：存放启动或停止Hadoop相关服务的脚本

（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

集群规划

hadoop2datanode,nodemanager,namenode
hadoop3datanode,nodemanager,resourcemanager
hadoop4datanode,nodemanager,secondnamenode,historyserver

修改配置

修改etc里面的workers文件(里面第datanode,nodemanage所在的机器)

hadoop102
hadoop103
hadoop104

core-site.xml

<configuration>
    <property>
        <!--指定 namenode 的 hdfs 协议文件系统的通信地址-->
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>
    <property>
        <!--指定 hadoop 集群存储临时文件的目录-->
        <name>hadoop.tmp.dir</name>
        <value>/home/bigdata/module/hadoop-3.2.3/data</value>
    </property>
	
	<!-- 配置HDFS网页登录使用的静态用户为bigdata -->
  <property>
    <name>hadoop.http.staticuser.user</name>
    <value>bigdata</value>
  </property>
 
    <property>
        <name>fs.trash.interval</name>
        <value>1</value>
    </property>
 
 
    <property>
        <name>fs.trash.checkpoint.interval</name>
        <value>1</value>
    </property>
 
    <!-- 配置该bigdata(superUser)允许通过代理访问的主机节点 -->
    <property>
        <name>hadoop.proxyuser.bigdata.hosts</name>
        <value>*</value>
    </property>
    <!-- 配置该bigdata(superUser)允许通过代理用户所属组 -->
    <property>
        <name>hadoop.proxyuser.bigdata.groups</name>
        <value>*</value>
    </property>
    <!-- 配置该bigdata(superUser)允许通过代理的用户-->
    <property>
        <name>hadoop.proxyuser.bigdata.users</name>
        <value>*</value>
    </property>
 
 
</configuration>

hdfs-site.xml

<configuration>
<property>
    <name>dfs.namenode.http-address</name>
    <value>hadoop102:9870</value>
  </property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop104:9868</value>
  </property>
  
     <property>
        <name>dfs.hosts.exclude</name>
        <value>/home/bigdata/module/hadoop-3.2.3/etc/blacklist</value>
    </property>
</configuration>

创建blacklist黑名单

touch /home/bigdata/module/hadoop-3.2.3/etc/blacklist 

yarn-site.xml

<configuration>
    <property>
        <!--配置 NodeManager 上运行的附属服务。需要配置成 mapreduce_shuffle 后才可以在 Yarn 上运行 MapReduce 程序。-->
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <!--resourcemanager 的主机名-->
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>
	
	 <!-- 开启日志聚集功能 -->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
  <!-- 设置日志聚集服务器地址 -->
  <property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop104:19888/jobhistory/logs</value>
  </property>
  <!-- 设置日志保留时间为7天 -->
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
  </property>

    <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>

    <!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>

    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <!--指定 mapreduce 作业运行在 yarn 上-->
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
	
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=/home/bigdata/module/hadoop-3.2.3</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=/home/bigdata/module/hadoop-3.2.3</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=/home/bigdata/module/hadoop-3.2.3</value>
</property>
 
<!-- 历史服务器端地址 -->
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop104:10020</value>
  </property>
  <!-- 历史服务器web端地址 -->
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop104:19888</value>
  </property>
 
</configuration>

修改好上面的配置文件以后配置环境变量

sudo vim /etc/profile.d/my_env.sh
#HADOOP_HOME
export HADOOP_HOME=/home/bigdata/module/hadoop-3.2.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
source /etc/profile.d/my_env.sh

分发hadoop到其他机器，在namenode机器hadoop102执行

hdfs namenode -format

然后启动集群

集群启动脚本(hadoop.sh)

#!/bin/bash
if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi
case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="
 
        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/home/bigdata/module/hadoop-3.2.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/home/bigdata/module/hadoop-3.2.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop104 "/home/bigdata/module/hadoop-3.2.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="
 
        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop104 "/home/bigdata/module/hadoop-3.2.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/home/bigdata/module/hadoop-3.2.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/home/bigdata/module/hadoop-3.2.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

启动./hadoop.sh start

分别访问hadoop102:9870,hadoop103:8088看到上面的页面说明启动成功 

测试集群

官方WordCount

mkdir wcinput
cd wcinput
vim word.txt
hadoop yarn
hadoop mapreduce

然后将创建的文件上传到hdfs

hadoop dfs -put wcinput/ /

进入hadoop目录执行

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.3.jar wordcount /wcinput /wcoutput

 

看到上面的结果说明hadoop集群搭建成功! 现在开始我们下一阶段的学习，第一阶段完结 。

工作变成艺术
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hadoop入门到精通
laogong的博客
01-26 682
1、判断文件是否存在（判断该目录下是否有文件存在） hdfs dfs -test -e hdfs路径 if [ $? -eq 0 ] ;then echo ‘exist’ else echo ‘Error! Directory is not exist Or Zero bytes in size’ fi ...
Hadoop入门到精通
02-26
Hadoop入门到精通（带目录）--很不错的HADOOP学习资料
Hadoop3.x入门
正在努力的杜三岁
11-06 1617
Hadoop3.x入门学习记录
【大数据开发】Hadoop入门到精通
后端研发工程师Marion的博客
11-06 418
一、参考资料 Hadoop入门(一)——CentOS7下载+VM上安装（手动分区）图文步骤详解(2021)_Leokadia Rothschild的博客-CSDN博客 https://blog.csdn.net/m0_46413065/category_10888790.html
Hadoop 3.x（MapReduce）----【Hadoop 序列化】---- 代码
09-17
Hadoop 3.x（MapReduce）----【Hadoop 序列化】---- 代码 Hadoop 3.x（MapReduce）----【Hadoop 序列化】---- 代码 Hadoop 3.x（MapReduce）----【Hadoop 序列化】---- 代码 Hadoop 3.x（MapReduce）----【Hadoop ...
Hadoop 3.x（MapReduce）----【MapReduce 概述】---- 代码
09-12
Hadoop 3.x（MapReduce）----【MapReduce 概述】---- 代码 Hadoop 3.x（MapReduce）----【MapReduce 概述】---- 代码 Hadoop 3.x（MapReduce）----【MapReduce 概述】---- 代码 Hadoop 3.x（MapReduce）----...
Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码
09-10
Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码 Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码 Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码 Hadoop 3.x（HDFS）----【HDFS 的 API 操作】--...
hadoop-3.1.1.3.1.4.0-315.tar.gz
10-11
ambari-2.7.5 编译过程中四个大包下载很慢，所以需要提前下载，包含：hbase-2.0.2.3.1.4.0-315-bin.tar.gz ，hadoop-3.1.1.3.1.4.0-315.tar.gz ， grafana-6.4.2.linux-amd64.tar.gz ，phoenix-5.0.0.3.1.4.0-315....
大数据技术之Hadoop3.x-视频教程网盘链接提取码下载 .txt
03-04
Hadoop是大数据技术中最重要的框架之一，是学习大数据必备的第一课，在Hadoop平台之上，可以更容易地开发和运行其他处理大规模数据的框架。尚硅谷Hadoop视频教程再次重磅升级！以企业实际生产环境为背景，增加了更...
Hadoop大数据从入门到精通
06-09
Hadoop分布式文件系统（HDFS）和MapReduce的工作原理 如何优化Hadoop机群所需要的硬件配置 搭建Hadoop机群所需要考虑的网络因素 如何利用Hadoop配置选项进行系统性能调优 如何利用FairScheduler为多用户提供服务级别保障 Hadoop机群维护和监控 如何使用Flume从动态生成的文件加载数据到Hadoop
学习笔记(01):Hadoop大数据从入门到精通-Hadoop的介绍及基本概念
01-20
立即学习:https://edu.csdn.net/course/play/3027/50309?utm_source=blogtoedu Hapood三大核心组件 1.HDFS：存储、分布式文件系统 2.MapReduce:分布式编程框架(jar包) 3.Yarn:资源调度管理集群，管理分配硬件资源。 把Hadoop理解为: 1.当作框架（例如tensorflow），专用于大数据处理，而不是Web开发 2.当作服务软件，C/S架构，例如MySQL（使用JDBC调用），缓存服务redis，索引服务solr。可以存储、分析数据。 Hadoop的历史： 1.google三篇论文:GFS/MAPRE
hadoop从入门到精通课件pdf
03-12
hadoop从入门到精通课件pdf,手把手带你飞(yarn,hdfs,mapreduce)
Hadoop 从入门到精通----编程不良人笔记
狗剩的专栏
12-16 1252
相关笔记下载地址 ( 很少的费用 带来很多的收获 支持一下自己技术上的进步 支持一下陈兄 ) https://www.baizhiedu.xin/front/index#/main Hadoop 从入门到精通----编程不良人 ( 25 小时 ) https://www.bilibili.com/video/BV17E411g7F2 Hadoop 作者: 陈艳男 微信|电话: 13260426185 一. 引言 1.1 什么是大数据 大数据:(Big Data):数据量级很大的应用处理。TB
Hadoop 3.x（入门）----【Hadoop 运行模式】
在人间负债^
10-02 883
整体启动/停止HDFS整体启动/停止YARN。
Hadoop 3.x（入门）----【Hadoop概述】
在人间负债^
09-02 704
Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。NameNode（nn）：存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的 DataNode 等。DataNode（dn）：在本地文件系统存储文件块数据，以及块数据的校验和。Seconddary NameNode（2nn）：每隔一段时间对 NameNode 元数据备份。
Hadoop从入门到精通 （一）：Hadoop环境搭建准备
郭胜龙的技术博客
03-29 7381
大家好，我是Stefan，今天开始为大家带来详细的Hadoop学习教程，大家可以按照我的教程步骤一步一步步入云计算的开发行列，好了，废话不多说，我们开始第一篇：Hadoop环境搭建。 万事开头难，这话不是吹的。很多人在最初的环境搭建就出现了问题，而每个人的平台又有所差异，就更加导致了问题的出现概率，这里我尽可能涉及到多种情况，我本机用的时Mac OS 10.9.2，搭建的过程和用Ubuntu和C
Hadoop 从入门到精通----leo学习编程不良人视频的笔记--part01
狗剩的专栏
12-14 658
Hadoop 从入门到精通----编程不良人 ( 25 小时 ) https://www.bilibili.com/video/BV17E411g7F2 // A code block var foo = 'bar'; // A code block var foo = 'bar'; // A code block var foo = 'bar'; // A code block var foo = 'bar'; // A code block var foo = 'bar'; // A c
大数据Hadoop基础入门到精通
weixin_38166931的博客
08-15 156
1.hadoop前世今生： 　　1） 搜索引擎：网络爬虫+索引服务器（生成索引+检索） 　　2） Doung Cutting 　　3) Nutch 　　　　a.分布式存储 　　　　b.分布式计算 　　4）GFS论文 doung cutting写了hdfs 2.hadoop概述 　　hadoop common:提供网络通信 　　hadoop hdfs 　　hadoop...
hadoop2.x和hadoop3.x的区别
最新发布
03-16
2. HDFS的改进：Hadoop 3.x中对HDFS进行了一系列改进，如增加了EC（Erasure Coding）编码、支持多个NameNode等，提高了其可靠性和性能。 3. 支持新的硬件架构：Hadoop 3.x支持新的硬件架构，如ARM处理器和NVMe SSD...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

工作变成艺术

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值