Hadoop生态&组件部署大总结

最新推荐文章于 2024-09-20 14:26:57 发布
最新推荐文章于 2024-09-20 14:26:57 发布
阅读量1.3w 收藏 1
点赞数 2
分类专栏： # Hadoop 大数据 文章标签： hadoop 大数据 big data
本文为博主原创文章，遵循 【CC BY-NC-ND 4.0】 版权协议，转载请附上原文出处链接和作者及本声明。
本文链接：https://blog.csdn.net/qq_41103843/article/details/121473217
版权

准备

下载地址

Apache参考源

中科大开源软件镜像https://mirrors.ustc.edu.cn/apache/
清华大学开源软件镜像站https://mirrors.tuna.tsinghua.edu.cn/apache/
Apache 官方提供镜像https://dlcdn.apache.org/

| Sqoop已不再被 Apache 维护，需要下载请前往GitHub，请参考 快捷下载 内地址

快捷下载

HADOOPhttps://mirrors.ustc.edu.cn/apache/hadoop/
HIVEhttps://mirrors.ustc.edu.cn/apache/hive/
Flumehttps://mirrors.ustc.edu.cn/apache/flume/
Sqoophttps://github.com/apache/sqoop/releases
Kafkahttps://mirrors.ustc.edu.cn/apache/kafka/
Sparkhttps://mirrors.ustc.edu.cn/apache/spark/
Hbasehttps://mirrors.ustc.edu.cn/apache/hbase/
Pighttps://mirrors.ustc.edu.cn/apache/pig/
Zookeeperhttps://mirrors.ustc.edu.cn/apache/Zookeeper/

 

环境变量参考

Jdk

JAVA_HOME=/usr/base/jdk1.8.0_301
JRE_HOME=${JAVA_HOME}/jre
CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
PATH=${JAVA_HOME}/bin:$PATH
export JAVA_HOME JRE_HOME CLASSPATH PATH

Scala

export SCALA_HOME=/usr/base/scala-2.11.7
export PATH=$PATH:$SCALA_HOME/bin

HADOOP

export HADOOP_HOME=/usr/base/hadoop-2.10.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

Flume

export FLUME_HOME=/usr/base/apache-flume-1.9.0-bin
export FLUME_CONF_DIR=$FLUME_HOME/conf
export FLUME_LOG_DIR=$FLUME_HOME/log
export PATH=$PATH:$FLUME_HOME/bin

ZooKeeper

export ZOOKEEPER_HOME=/usr/base/apache-zookeeper-3.5.9-binn
export PATH=$ZOOKEEPER_HOME/bin:$PATH

Sqoop

export SQOOP_HOME=/usr/base/apache-flume-1.9.0-bin
export PATH=$PATH:$SQOOP_HOME/bin

Hive

export HIVE_HOME=/usr/base/apache-hive-2.3.9-bin
export PATH=$HIVE_HOME/bin:$HIVE_HOME/conf:$PATH

Flink

export FLINK_HOME=/usr/base/flink-1.13.2
export PATH=$FLINK_HOME/bin:$PATH

Hbase

export HBASE_HOME=/usr/base/hbase-2.4.6
export PATH=$PATH:$HBASE_HOME/bin

Pig

export PIG_HOME=/usr/base/pig-0.17.0
export PATH=$PATH:$PIG_HOME/bin:$PIG_HOME/conf

Spark

export SPARK_HOME=/usr/base/spark-3.1.2-bin-without-hadoop
export PATH=$SPARK_HOME/bin:$PATH

Hadoop

  • **「$PATH」**修改为自己的路径
  • **「NAME」**修改为 NameNode Host
  • 「DataNode HOST n」 修改为 DataNode Host 序列

通用操作

/etc/hosts

「IP 1」 「HOST 1」
「IP 2」 「HOST 2」
「IP 3」 「HOST 3」
..................
「IP n」 「HOST n」

~/.ssh/id_rsa

ssh-keygen -t rsa

authorized_keys

ssh-copy-id IP
masters
「NAME」
slaves
「DataNode HOST 1」

「DataNode HOST 2」

............

「DataNode HOST n」

 

各模式下配置文件

伪分布式

core-site.xml
<configuration>
	  <!-- 缓存目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>「$PATH」/tmp</value>
    </property>
	  <!-- 指定 NameNode -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://「NAME」:9000</value>
    </property>
</configuration>

完全分布式

core-site.xml
<configuration>
	  <!-- 缓存目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>「$PATH」/tmp</value>
    </property>
	  <!-- 指定 NameNode -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://「NAME」:9000</value>
    </property>
</configuration>
yarn-site.xml
<configuration>
    <!-- 指定Yarn的(ResourceManager)地址-->     
    <property>
		    <name>yarn.resourcemanager.hostname</name>
		    <value>「NAME」</value>
    </property> 
<configuration>
可选参数
<!-- hdfs-site.xml -->

<proterty>
	<name>dfs.namenode.name.dir</name>
	<value>「$PATH」</value>
</proterty>

<proterty>
	<name>dfs.datanode.data.dir</name>
	<value>「$PATH」</value>
</proterty>

 

HA分布式

Zoopkeeper 配置
/conf/zoo.cfg
dataDir=/zookeeper/data

server.myid1=「NAME 1」:2888:3888
server.myid2=「NAME 2」:2888:3888
server.myid3=「DataNode HOST 1」:2888:3888
server.myid4=「DataNode HOST 2」:2888:3888:observer
myid
ssh 「NAME 1」 "echo "1" > /zookeeper/data/myid"
ssh 「NAME 2」 "echo "2" > /zookeeper/data/myid"
ssh 「DataNode HOST 1」 "echo "3" > /zookeeper/data/myid"
ssh 「DataNode HOST 2」 "echo "4" > /zookeeper/data/myid"
Hadoop 配置
core-site.xml
<configuration>
		<!--指定hdfs nameservice-->
		<property>
		    <name>fs.defaultFS</name>
		    <value>hdfs://jed</value>
		</property>
		<!--指定hadoop工作目录-->
		<property>
		    <name>hadoop.tmp.dir</name>
		    <value>「$PATH」/hd</value>
		</property>
		<!--指定zookeeper集群访问地址-->
		<property>
		    <name>ha.zookeeper.quorum</name>
		    <value>「$HOST」:2181,「DataNode HOST n」:2181</value>
		</property>
</configuration>
hdfs-site.xml
<configuration>
		<!--与core-site.xml中一致的hdfs nameservice-->
		<property>
				<name>dfs.nameservices</name>
				<value>jed</value>
		</property>

		<!--jed的NameNode，nn1，nn2 -->
		<property>
		  	<name>dfs.ha.namenodes.jed</name>
		  	<value>nn1,nn2</value>
		</property>

		<!-- 「NAME 1」 的 RPC 通信地址 -->
		<property>
		  	<name>dfs.namenode.rpc-address.jed.nn1</name>
		  	<value>「NAME 1」:9000</value>
		</property>
		<!-- nn1 的 http 通信地址 -->
		<property>
		  	<name>dfs.namenode.http-address.jed.nn1</name>
		  	<value>「NAME 1」:50070</value>
		</property>
		<!-- nn2 的 RPC 通信地址 -->
		<property>
		  	<name>dfs.namenode.rpc-address.jed.nn2</name>
		  	<value>「NAME 2」:9000</value>
		</property>
		<!-- nn2 的 http 通信地址 -->
		<property>
		  	<name>dfs.namenode.http-address.jed.nn2</name>
		  	<value>「NAME 2」:50070</value>
		</property>
		
		<!-- 指定NameNode的edits元数据在JournalNode 上的存放位置 -->
		<property>
		  	<name>dfs.namenode.shared.edits.dir</name>
		  	<value>qjournal://「NAME 1」:8485;「NAME 2」:8485;「DataNode HOST n」:8485/jed</value>
		</property>
		
		<!-- 指定 JournalNode 在本地磁盘存放数据的位置 -->
		<property>
		  	<name>dfs.journalnode.edits.dir</name>
		  	<value>「$PATH」/jd</value>
		</property>
		
		<!-- 开启 NameNode 失败自动切换 -->
		<property>
		  	<name>dfs.ha.automatic-failover.enabled</name>
		  	<value>true</value>
		</property>
		
		<!-- 配置失败自动切换实现方式 -->
		<!-- 此处配置较长，在安装的时候切记检查不要换行-->
		<property>
		  	<name>dfs.client.failover.proxy.provider.jed</name>
		  	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
		</property>
		<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制占用一行-->
		<property>
		  	<name>dfs.ha.fencing.methods</name>
		  	<value>
		      		sshfence
		     		shell(/bin/true)
		  	</value>
		</property>
		<!-- 使用 sshfence 隔离机制时需要 ssh 免登陆 -->
		<property>
		  	<name>dfs.ha.fencing.ssh.private-key-files</name>
		  	<value>/root/.ssh/id_rsa</value>
		</property>
		<!-- 配置 sshfence 隔离机制超时时间(20s) -->
		<property>
		  	<name>dfs.ha.fencing.ssh.connect-timeout</name>
		  	<value>20000</value>
		</property>
</configuration>
mapred-site.xml
<configuration>
		<!-- 指定mapreduce框架为yarn方式 -->
		<property>
				<name>mapreduce.framework.name</name>
				<value>yarn</value>
		</property>
</configuration>
yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
			<!-- 开启 RM 高可用 -->
    	<property>
        	<name>yarn.resourcemanager.ha.enabled</name>
        	<value>true</value>
    	</property>

    	<!-- 指定 RM 的 cluster id，可以自定义-->
    	<property>
        	<name>yarn.resourcemanager.cluster-id</name>
        	<value>Cyarn</value>
    	</property>

    	<!-- 指定 RM 的名字，可以自定义 -->
    	<property>
        	<name>yarn.resourcemanager.ha.rm-ids</name>
        	<value>rm1,rm2</value>
    	</property>

    	<!-- 分别指定 RM 的地址 -->
    	<property>
        	<name>yarn.resourcemanager.hostname.rm1</name>
        	<value>「HashNode HOST 1」</value>
    	</property>
    
    	<property>
        	<name>yarn.resourcemanager.hostname.rm2</name>
        	<value>「HashNode HOST 2」</value>
    	</property>
	
    	<!-- 指定 zk 集群地址 -->
    	<property>
        	<name>yarn.resourcemanager.zk-address</name>
        	<value>「NAME 1」:2181,「NAME 2」:2181,「HashNode HOST n」:2181</value>
    	</property>

</configuration>

Hive

设置 hive-env.sh 配置文件

进入 hive-0.12.0/conf 目录，复制 hive-env.sh.templaete 为 hive-env.sh：

cd /app/hive-0.12.0/conf
cp hive-env.sh.template hive-env.sh
sudo vi hive-env.sh

分别设置 HADOOP_HOME 和 HIVE_CONF_DIR 两个值：

export HADOOP_HOME=/app/hadoop-1.1.2
export HIVE_CONF_DIR=/app/hive-0.12.0/conf

 

设置 hive-site.xml 配置文件

复制 hive-default.xml.templaete 为 hive-site.xml：

cd /app/hive-0.12.0/conf
cp hive-default.xml.template hive-site.xml
sudo vi hive-site.xml

加入配置项

默认 metastore 在本地，添加配置改为非本地。

<property>
  <name>hive.metastore.local</name>
  <value>false</value>
</property>

修改配置项

hive 默认为 derby 数据库，需要把相关信息调整为 mysql 数据库。

<property>
    <name>hive.metastore.uris</name>
    <value>thrift://hadoop:9083</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://hadoop:3306/hive?=createDatabaseIfNotExist=true</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive</value>
</property>

 

mysql驱动jar包

放置到 $HIVE_HOME/lib中

mv mysql-connector-java-5.1.32-bin.jar /opt/home/apache-hive-1.2.1-bin/lib/

 

订正错误项

把 hive.metastore.schema.verification 配置项值修改为 false。

 <property>
   <name>hive.metastore.schema.verification</name>
   <value>false</value>
 </property>

把 /app/hive-0.12.0/conf/hive-site.xml 文件中的大概在 2000 行位置左右

把原来的 <value>auth</auth> 修改为 <value>auth</value>，如下所示：

 <property>
    <name>hive.server2.thrift.sasl.qop</name>
    <value>auth</auth>
  </property>

Flume

设置 flume-env.sh 配置文件

在 $FLUME_HOME/conf 下复制改名 flume-env.sh.template 为flume-env.sh，修改 conf/ flume-env.sh 配置文件

cd /app/flume-1.5.2/conf
cp flume-env.sh.template flume-env.sh
sudo vi flume-env.sh

修改配置文件内容 ：

JAVA_HOME= /app/lib/jdk1.7.0_55
JAVA_OPTS="-Xms100m -Xmx200m -Dcom.sun.management.jmxremote"

Sqoop

设置 bin/configure-sqoop 配置文件

修改 bin/configure-sqoop 配置文件。

cd /app/sqoop-1.4.5/bin
sudo vi configure-sqoop

注释掉 HBase 和 Zookeeper 等检查（除非使用 HBase 和 Zookeeper 等 HADOOP 上的组件）。

 

设置 conf/sqoop-env.sh 配置文件

如果不存在 sqoop-env.sh 文件，复制 sqoop-env-template.sh 文件，然后修改 sqoop-env.sh 配置文件。

cd /app/sqoop-1.4.5/conf
cp sqoop-env-template.sh sqoop-env.sh
sudo vi sqoop-env.sh

设置 hadoop 运行程序所在路径和 hadoop-*-core.jar 路径（Hadoop1.X 需要配置）

export HADOOP_COMMON_HOME=/app/hadoop-1.1.2
export HADOOP_MAPRED_HOME=/app/hadoop-1.1.2

编译配置文件 sqoop-env.sh 使之生效。


Kafka

Kafka所有的配置文件都在“** K A F K A H O M E / c o n f i g ∗ ∗ ” 目 录 下 ， 修 改 以 下 配 置 文 件 前 ， 需 要 切 换 到 “ KAFKA_HOME/config**”目录下，修改以下配置文件前，需要切换到“ KAFKAH​OME/config∗∗”目录下，修改以下配置文件前，需要切换到“KAFKA_HOME/config”目录。

cd $KAFKA_HOME/config

修改server.properties文件

vim server.properties

内容修改如下：

broker.id=0

port=6667

host.name=agent1

log.dirs=/data/data1/kafka

zookeeper.connect=agent1:2181,agent2:2181,agent3:2181

| 其中，参数host.name可填写agent1对应的IP地址，log.dirs为实际的存储数据路径。

修改节点相关参数。

登录agent2，修改server.properties。

vim server.properties

内容修改如下：

broker.id=1
host.name=agent2 #可填对应的IP地址

登录agent3，修改server.properties。

vim server.properties

内容修改如下：

broker.id=2
host.name=agent3 #可填对应的IP地址

Spark

Spark所有的配置文件都在“** S P A R K H O M E / c o n f ∗ ∗ “ 目 录 下 ， 修 改 以 下 配 置 文 件 前 ， 切 换 到 “ SPARK_HOME/conf**“目录下，修改以下配置文件前，切换到“ SPARKH​OME/conf∗∗“目录下，修改以下配置文件前，切换到“SPARK_HOME/conf”目录。

cd $SPARK_HOME/conf

修改spark-env.sh

  1. 以spark-env.sh.template为模板，拷贝一份命名为spark-env.sh。
cp spark-env.sh.template spark-env.sh
  1. 编辑spark-env.sh文件。
export JAVA_HOME=/usr/local/jdk8u252-b09
export HADOOP_HOME=/usr/local/hadoop 
export SCALA_HOME=/usr/local/scala 
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop export HDP_VERSION=3.1.0

修改spark-defaults.conf

修改文件

echo "spark.master                     yarn" >> spark-defaults.conf
echo "spark.eventLog.enabled           true" >> spark-defaults.conf
echo "spark.eventLog.dir               hdfs://server1:9000/spark2-history" >> spark-defaults.conf
echo "spark.eventLog.compress          true" >> spark-defaults.conf
echo "spark.history.fs.logDirectory    hdfs://server1:9000/spark2-history" >> spark-defaults.conf

同步hadoop的core-site.xml和hdfs-site.xml

同步文件

cp /usr/local/hadoop/etc/hadoop/core-site.xml /usr/local/spark/conf 
cp /usr/local/hadoop/etc/hadoop/hdfs-site.xml /usr/local/spark/conf

同步mariadb-java-client包

同步文件

cp /usr/local/hive/lib/mariadb-java-client-2.3.0.jar /usr/local/spark/jars

Hbase

HBase所有的配置文件都在“HBASE_HOME/conf”目录下，修改以下配置文件前，切换到“HBASE_HOME/conf”目录。

cd $HBASE_HOME/conf

修改hbase-env.sh

修改环境变量JAVA_HOME为绝对路径，HBASE_MANAGES_ZK设为false。

export JAVA_HOME=/usr/local/jdk8u252-b09 
export HBASE_MANAGES_ZK=false 
export HBASE_LIBRARY_PATH=/usr/local/hadoop/lib/native

修改hbase-site.xml

vim hbase-site.xml

添加或修改configuration标签范围内的部分参数。

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://server1:9000/HBase</value>
    </property>
    <property>
        <name>hbase.tmp.dir</name>
        <value>/usr/local/hbase/tmp</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>agent1:2181,agent2:2181,agent3:2181</value>
    </property>
    <property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
    </property>
</configuration>

 

修改regionservers

vim regionservers

将regionservers文件内容替换为agent节点IP（可用主机名代替）。

agent1
agent2
agent3

 

拷贝hdfs-site.xml

拷贝hadoop目录下的的的hdfs-site.xml文件到“hbase/conf/”目录，可选择软链接或拷贝。

cp /usr/local/hadoop/etc/hadoop/hdfs-site.xml /usr/local/hbase/conf/hdfs-site.xml

之后请自行同步至各节点

我想养只猫 •͓͡•ʔ
关注
专栏目录
Hadoop及组件部署安装
Lee
11-29 573
Hadoop 部署与安装 更多Hadoop组件配套安装与部署    Hadoop：https://blog.csdn.net/Gordo_Li/article/details/103195236    Hbase: https://blog.csdn.net/Gordo_Li/article/details/103199302    Hive: https://blog.csdn.net/G...
Hadoop生态圈各种组件介绍
阿尼古
05-06 8219
好多初入学习大数据的人不是很清楚，今天分享一个图，并介绍一下大致的组件，其他还有一些组件是没有包含在其中的，但是大部分这个图片是有了的。 一、简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 二、HDFS Hado...
Hadoop生态部署
wenph2008的专栏
05-27 545
借鉴别人的，如有侵犯，找我删除~ 1. Hadoop环境安装（HDFS-MapReduce）http://note.youdao.com/noteshare?id=a57f8dfb33f934634aef768f998ae129&amp;sub=521A3210B49245918FB07BAF26626D97 2. Storm环境安装（Storm）http://note.youdao.com/n...
Hadoop 常用生态组件
最新发布
FLGB
09-20 2680
Flink 独立运行：与 Spark 一样，Flink 支持独立的 Local 模式和 Standalone 模式，不依赖 Hadoop 的 HDFS 或 YARN。：Flink 可以与 HDFS 集成，用 HDFS 作为分布式文件系统来存储和读取大规模数据，特别适用于批处理场景。：Flink 可以通过 YARN 来管理和调度资源，特别适合在共享资源的 Hadoop 集群上运行多个分布式应用时。
hadoop生态圈各个组件简介
热门推荐
zcb_data的博客
05-22 7万+
1，HDFS（hadoop分布式文件系统） 是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。 client：切分文件，访问HDFS，与那么弄得交互，获取文件位置信息，与DataNode交互，读取和写入数据。 namenode：master节点，在hadoop1.x中只有一个，管理HDFS的名称空间和数据块映射信息，配置副本...
Hadoop生态圈-HUE环境部署
weixin_33912445的博客
08-09 203
　　　　　　　　　　　　　　　　　　Hadoop生态圈-HUE环境部署 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。           一.HUE简介 1&gt;.HUE的由来 　　HUE全称是HadoopUser Experience，看这名字就知道怎么回事了吧。没错，直白来说就是Hadoop用户体...
Hadoop—Hadoop生态圈
sanmi8276的博客
02-16 845
Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点。 Hadoop的核心组件是HDFS、MapReduce。随着处理任务不同，各种组件相继出现，丰富Hadoop生态圈，目前生态圈结构大致如图所示： 根据服务对象和层次分为：数据来源层、数据传输层、数据存储层、资源管理层、数据计算层、任务调度层、业务模型层。接下来对Hadoop生态圈中出现的相关组件做一个简要介绍。 1、HDFS（分布式文件系统） HDFS是整个hadoop体系的基础，负责数据的存储与...
大数据Hadoop生态圈各个组件介绍（详情）
weixin_47391932的博客
07-12 8393
Hadoop架构 HDFS（Hadoop Distributed FIle System） 分布式文件系统，解决分布式存储 MapReduce 分布式计算框架 TARN 分布式资源管理系统 在Hadoop 2.x中引入 Common 支持所有其他模块的公共工具程序 Hadoop分布式文件系统-HDFS架构 HDFS采用master/slave架构 master：NameNode slave：DataNode HDFS组成角色及其功能 Client：客户端 NameNode（NN）：元数据节点 管理文件系统的
hadoop环境部署全套组件，下载后直接可用（虚拟机全套）
12-29
本资源提供的是一套完整的Hadoop环境部署，包括了多个关键组件，旨在帮助用户快速搭建一个功能齐全的大数据处理平台。这套虚拟机镜像包含了以下组件： 1. **HDFS (Hadoop Distributed File System)**：Hadoop的核心...
大数据之Hadoop生态圈
J_fovik_R0407的博客
06-30 1283
HDFS是整个Hadoop体系的基础，负责数据的存储与管理，Hdfs有着高容错性的特点，并且设计用来部署在低廉的硬件上，适合那些有着超大数据集的应用程序。
Apache Hadoop生态部署-hadoop单机安装
wester的博客
02-23 864
Apache Hadoop生态部署-hadoop单机安装
Hadoop生态圈部署
weixin_45066966的博客
08-09 303
Hadoop生态圈部署 文档包括： Hadoop HA部署 Zookeeper安装 Hive组件部署 Hbase组件部署 Sqoop组件部署 Flume组件部署 spark组件部署 storm组件部署 kafka组件部署 MongoDB部署 可能会出现差错 下载地址
Hadoop平台及组件部署管理
weixin_40903057的博客
05-27 1281
1-5天参考视频链接https://pan.baidu.com/s/1ycgK24KrVS-kgluFUrUgmA 提取码：3zal 1-5天笔记包含Hadoop全分布式部署+Hadoop伪分布式部署+Hive组件 部署 参考本人博客：大数据day01，day02，day03，day04，day05 Hadoop HA部署：参考http://www.codingke.com/v/5354-...
Hadoop生态圈组件
S_Running_snail的博客
11-17 815
  1、HDFS（hadoop分布式文件系统） 是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。 client：切分文件，访问HDFS，与那么弄得交互，获取文件位置信息，与DataNode交互，读取和写入数据。 namenode：主节点，管理HDFS的名称空间和数据块映射信息，配置副本策略，处理客户 端请求。 DataNode：slave节点，存...
深入解析Hadoop生态核心组件：HDFS、MapReduce和YARN
小洁洁
04-01 2107
HDFS 默认副本数是 3，这是因为 Hadoop 有着高度的容错性，从数据冗余以及分布的角度来看，需要在同一机房不同机柜以及跨数据中心进行数据存储以保证数据最大可用。因此，为了达到上述目的，数据块需要至少存放在同一机房的不同机架（2 份）以及跨数据中心的某一机架（1 份）中，共 3 份数据。机架感知的目的是在计算中尽量让不同节点之间的通信能够发生在同一个机架之 内，而不是跨机架，进而减少分布式计算中数据在不同的网络之间的传输，减少网络带 宽资源的消耗。
hadoop生态圈组件
Wasd7890的博客
03-15 2921
这样可以确保数据的可靠性和容错性。\n\nMapReduce是一种基于磁盘的分布式并行批处理的计算模型，用于处理和生成大型数据集，他将计算任务分为两个阶段：map阶段和reduce阶段，MapReduce用于在HDFS上处理大量数据，尤其是批量处理任务。Flink是一个基于内存的分布式并行处理框架，类似与Spark，但是在部分设计思想方面有很多不同的，对与Flink而言，适合处理事实数据和流式数据，具有更好的状态管理和任务调度能力，而Spark适合处理离线批处理数据，，具有更好的内存管理和执行引擎能力。
大数据生态系统（Hadoop）的安装部署
weixin_46015057的博客
05-19 2359
大数据生态系统（Hadoop）的安装部署 安装hadoop的准备阶段（在每个节点） ​ 1、安装 JDK 1.8 ​ 2 、远程ssh无密码登录（主到从） ssh-keygen ssh-copy-id ip/主机名 ​ 3、防火墙关闭 service iptables stop 永久关闭chkconfig iptables off ​ 4、selinux关闭 vim /etc/selinux/config 将 SELINUX=enforcing 改为 SELINUX=disabl
hadoop大数据平台，Zookeeper组件详解及部署
无求道贾的博客
03-25 3699
hadoop大数据平台，Zookeeper组件详解及部署，附源码，看不懂找我。
构建高效Hadoop与Spark开发部署环境
这通常涉及安装Hadoop核心组件，如HDFS、YARN（Yet Another Resource Negotiator）和MapReduce，以及安装和配置Spark环境，确保Spark能够与Hadoop生态系统无缝对接。 文件列表中提到的’hadoop2-master’可能是指...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我想养只猫 •͓͡•ʔ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值