Hadoop
文章平均质量分 76
青桥细雨落
这个作者很懒,什么都没留下…
展开
-
Hadoop生态(6):Sqoop
其中,--connect参数指定数据库连接信息,--username参数指定数据库用户名,--password参数指定数据库密码,--table参数指定要导入的表名,--m参数指定并行度,--target-dir参数指定导入数据的目录。其中,--connect参数指定数据库连接信息,--username参数指定数据库用户名,--password参数指定数据库密码,--table参数指定要导出的表名,--export-dir参数指定要导出的数据目录。原创 2023-05-08 22:44:35 · 580 阅读 · 0 评论 -
Hadoop生态(5):kafka
kafka原创 2023-05-08 22:29:18 · 469 阅读 · 0 评论 -
Hadoop生态(4):Hive
详细介绍 Hive 的架构、优势、常用的数据类型及其使用方法等方面。原创 2023-05-07 21:09:44 · 136 阅读 · 0 评论 -
Hadoop生态(3):HBase
HBase具有高可扩展性、高可靠性、高性能、高可用性等特点,在大数据处理和分析中发挥着重要作用。原创 2023-05-07 17:30:38 · 310 阅读 · 0 评论 -
Hadoop生态(2):Zookeeper
每个线程会在Zookeeper上创建一个临时顺序节点,然后获取当前节点列表,如果当前线程创建的节点是列表中序号最小的节点,就表示当前线程获得了锁,否则就需要等待前一个节点的删除事件。在锁的释放中,只需要关闭Zookeeper连接即可。Zookeeper的核心组件是一个分布式的文件系统,它提供了类似于标准文件系统的目录和文件的概念,但是这些目录和文件存储在一个分布式环境中。Zookeeper是一个开源的分布式协调服务,用于管理和协调分布式系统中的配置信息、命名服务、分布式锁、集群管理等任务。原创 2023-05-05 23:57:19 · 75 阅读 · 0 评论 -
Hadoop生态(1):HDFS
HDFS(Hadoop Distributed File System)是Apache Hadoop生态系统中的一个分布式文件系统,它能够存储大规模数据并提供高可靠性、高性能的数据访问服务。本篇博客将从以下几个方面来介绍HDFS:概述、架构、数据处理、容错性和应用场景。原创 2023-05-04 21:10:15 · 78 阅读 · 0 评论