![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 85
Hadoop生态的相关组件介绍
思屿`
这个作者很懒,什么都没留下…
展开
-
Sqoop简单介绍及使用
1、sqoop1和sqoop2是两个完全不同的版本,它们是完全不兼容的。2、版本划分方式: apache1.4.X之后的版本是sqoop1,1.99.0之上的版本是sqoop2。3、sqoop2引入sqoop Server,便于集中化的管理Connector或者其它的第三方插件。多种访问方式:CLI、Web UI、REST API。它引入了基于角色的安全机制,管理员可以在sqoopServer上, 配置不同的角色。一般情况下还是使用sqoop1,大多数情况下sqoop1可以完全满足需求。原创 2022-10-20 14:59:41 · 1405 阅读 · 1 评论 -
Hive架构简述及工作原理
Hive是基于Hadoop的一个数据仓库管理工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL(HQL)查询功能。本质是将SQL转换为MapReduce程序(默认)。直接使用Hadoop MapReduce处理数据所面临的问题: 学习成本高,MapReduce实现复杂查询功能开发难度大,使用Hive接口采用类SQL语法,提供快速开发的能力避免了去写MapReduce,减少开发人员的学习成本功能。原创 2022-10-15 19:57:13 · 3909 阅读 · 0 评论 -
HDFS读写流程及为什么使用pipline
HDFS读写流程及为什么使用pipline原创 2022-10-08 23:31:32 · 436 阅读 · 0 评论 -
Zookeeper的特性与选举机制
ZooKeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题。ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储,并且可以对树中的节点进行有效管理。从而用来维护和监控存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达到基于数据的集群管理。原创 2022-10-01 11:11:51 · 911 阅读 · 0 评论