![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
hadoop及外围生态圈
乐乐Gold
这个作者很懒,什么都没留下…
展开
-
版本支持注意事项
1)Apache Kafka 3.0放弃对JAVA 8的支持原创 2021-09-24 09:14:59 · 156 阅读 · 0 评论 -
Hadoop学习笔记(二)MapReduce Job
Hadoop学习笔记(三)MapReduce原创 2020-11-04 15:24:04 · 510 阅读 · 0 评论 -
Hadoop学习笔记(三)HDFS使用示例
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),其中一个组件是HDFS。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。 示例: ...原创 2020-12-03 10:42:21 · 154 阅读 · 0 评论 -
Hadoop学习笔记(四)HBase简单应用示例
HBase是一个建立在HDFS之上,面向列的针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。 HBase采用了BigTable的数据模型:增强的稀疏排序映射表(Key/Value),其中,键由行关键字、列关键字和时间戳构成。 HBase提供了对大规模数据的随机、实时读写访问,同时,HBase中保存的数据可以使用MapReduce来处理,它将数据存储和并行计算完美地结合在一起。 HBase使用示例: pom.xml中添加: <dependency.原创 2020-11-03 10:21:10 · 758 阅读 · 0 评论 -
Hadoop学习笔记(一)
Hadoop主要是由HDFS和MapReduce组成 大数据解决四大核心问题: 1、数据的存储(Big Data Storage),HDFS 2、数据的计算(Data Calculation),MapReduce、Spark、Flink 3、数据的查询(Consensus Data),Hbase 4、数据的挖掘(Data mining),Hive、Impala、Pig Hadoop生态系统包含: 1、HDFS(分布式文件系统) 2、MapReduce(分布式计算框架) 3、Spark(分原创 2020-11-03 09:52:09 · 133 阅读 · 0 评论