大数据
文章平均质量分 84
翱翔云端
关注计算机科学与宏观经济学,热爱读书、运动和编程,擅长Java Web后端开发,熟悉Hadoop、Spark和Storm等大数据处理技术。
展开
-
Storm实时大数据处理(一)
自从Google发表了3篇举世瞩目的论文(Google File System、BigTable和MapReduce)以后,大数据被引爆了。如果说计算机的威力相当于一枚大炮的威力的话,那么互联网的威力相当于一颗原子弹,而大数据的威力则相当于氢弹,大数据成为了IT发展史上的又一次浪潮,处于这个圈内的我们怎能错过?时至今日,基于Google的3篇论文及后续研究,大数据处理架构如雨后春笋般涌现而出,原创 2016-08-25 21:19:55 · 6758 阅读 · 0 评论 -
Storm实时大数据处理(二)
在上一篇博客(Storm实时大数据处理(一))中,我介绍了Storm的基本概念和原理,本文我们开始基于Storm提供的API开发自己的应用程序。入门开发Storm应用程序很简单,这得益于设计者为我们精心设计的简单API。一、搭建开发环境在生成环境中,Storm集群运行在基于Linux操作系统的分布式集群中,可喜的是,Storm提供了本地模式(Local Mode)来方便开发者开发Storm原创 2016-08-29 10:32:52 · 4108 阅读 · 0 评论 -
Storm实时大数据处理(三)
本文主题:构建和运行Storm拓扑(Build and Run Storm Topology)一、构建Storm拓扑实现了Spout和Bolt后,就可以构建Storm拓扑了,使用TopologyBuilder构建Topology。TopologyBuilder builder = new TopologyBuilder();之后就可以使用builder对象构建拓扑了,使用setSpou原创 2017-07-28 17:00:46 · 760 阅读 · 0 评论 -
大数据计算的四支精干队伍,你造吗
本文首发在我简书的账号上,原文地址:http://www.jianshu.com/p/7a875e09d4e1《易经·系辞》有云:“形而上者谓之道,形而下者谓之器”。同理,任何技术都可以从道和器的角度去解读,一门技术,只知道器不知道道,走不远,只知道道而不知道器,啥也干不了,只能空口吹牛逼!谈及大数据时亦如此,本文着重道的层面。总览国内大数据这词比较火是从2012年左右开始的,从那原创 2017-09-07 19:31:09 · 619 阅读 · 0 评论