![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
hadoop及外围生态圈
乐乐Gold
这个作者很懒,什么都没留下…
展开
-
版本支持注意事项
1)Apache Kafka 3.0放弃对JAVA 8的支持原创 2021-09-24 09:14:59 · 150 阅读 · 0 评论 -
Hadoop学习笔记(二)MapReduce Job
Hadoop学习笔记(三)MapReduce原创 2020-11-04 15:24:04 · 510 阅读 · 0 评论 -
Hadoop学习笔记(三)HDFS使用示例
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),其中一个组件是HDFS。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。示例:...原创 2020-12-03 10:42:21 · 152 阅读 · 0 评论 -
Hadoop学习笔记(四)HBase简单应用示例
HBase是一个建立在HDFS之上,面向列的针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。HBase采用了BigTable的数据模型:增强的稀疏排序映射表(Key/Value),其中,键由行关键字、列关键字和时间戳构成。HBase提供了对大规模数据的随机、实时读写访问,同时,HBase中保存的数据可以使用MapReduce来处理,它将数据存储和并行计算完美地结合在一起。HBase使用示例:pom.xml中添加: <dependency.原创 2020-11-03 10:21:10 · 756 阅读 · 0 评论 -
Hadoop学习笔记(一)
Hadoop主要是由HDFS和MapReduce组成大数据解决四大核心问题:1、数据的存储(Big Data Storage),HDFS2、数据的计算(Data Calculation),MapReduce、Spark、Flink3、数据的查询(Consensus Data),Hbase4、数据的挖掘(Data mining),Hive、Impala、PigHadoop生态系统包含:1、HDFS(分布式文件系统)2、MapReduce(分布式计算框架)3、Spark(分原创 2020-11-03 09:52:09 · 131 阅读 · 0 评论