- 博客(12)
- 收藏
- 关注
RSS订阅原创 Sqoop简单介绍及使用
1、sqoop1和sqoop2是两个完全不同的版本，它们是完全不兼容的。2、版本划分方式： apache1.4.X之后的版本是sqoop1，1.99.0之上的版本是sqoop2。3、sqoop2引入sqoop Server，便于集中化的管理Connector或者其它的第三方插件。多种访问方式：CLI、Web UI、REST API。它引入了基于角色的安全机制，管理员可以在sqoopServer上， 配置不同的角色。一般情况下还是使用sqoop1，大多数情况下sqoop1可以完全满足需求。
2022-10-20 14:59:41
1364
1
原创 Hive架构简述及工作原理
Hive是基于Hadoop的一个数据仓库管理工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL（HQL）查询功能。本质是将SQL转换为MapReduce程序（默认）。直接使用Hadoop MapReduce处理数据所面临的问题： 学习成本高，MapReduce实现复杂查询功能开发难度大，使用Hive接口采用类SQL语法，提供快速开发的能力避免了去写MapReduce，减少开发人员的学习成本功能。
2022-10-15 19:57:13
3869
原创 Zookeeper的特性与选举机制
ZooKeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一致性问题。ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。从而用来维护和监控存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理。
2022-10-01 11:11:51
873
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人