![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
bigdata
wenwenxiong
这个作者很懒,什么都没留下…
展开
-
顶级大数据处理框架
摘要讨论了五个大数据处理框架:Hadoop,Spark,Flink,Storm,Samaza如今大量数据不断产生,去纠结具体多大才算大数据没什么意义。 就像“人工智能”一样,大数据这个词的具体含义是变化的。几十年前对人工智能的期待大多已经实现,如今已经不管这部分叫“人工智能”了; 同样,由于我们这个社会在不断地创造、保存、处理指数级增长的数据,今天的大数据在明天也就是“还不错哦”而已。不能用于大数转载 2016-11-16 18:22:05 · 17504 阅读 · 0 评论 -
2分钟读懂大数据框架Hadoop和Spark的异同
谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。解决问题的层面不一样首先,Hadoop和Apache Spark两者都是大数据框架,但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的转载 2016-11-16 18:23:14 · 662 阅读 · 0 评论 -
storm集成kafka简单使用示例
KafkaStormSample.javapackage kafkaUse.kafkaUse.withStorm;import java.util.Properties;import java.util.UUID;import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm原创 2017-03-29 18:21:58 · 2225 阅读 · 0 评论 -
storm集成kafka简单使用示例2
StormKafkaTopo.javapackage stormUse.stormUse;import java.util.Properties;import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.StormSubmitter;import org.apache.原创 2017-03-29 18:26:43 · 3890 阅读 · 0 评论 -
Hibench使用
Hibench是一个大数据 benchmark 套件,用来测试各种大数据框架的速度,吞吐量,系统资源利用率。 它支持的框架有:hadoopbench、sparkbench、stormbench、flinkbench、gearpumpbench。参考网址:https://github.com/intel-hadoop/HiBenchhttps://github.com/intel-hadoop/H原创 2017-08-28 08:57:59 · 7938 阅读 · 6 评论 -
docker kafka
kafka概念broke kafka集群中包含一个或多个服务器,这种服务器被称为broker topic 每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处) Partition Parition是原创 2018-01-09 17:34:46 · 1810 阅读 · 0 评论