Bigdata message
独行夏
这个作者很懒,什么都没留下…
展开
-
hadoop Spark源码编译所需要的环境
一.Hadoop源码编译1.检查并安装gcc* 2.安装Maven 3.安装ProtocolBuffer 4.安装Cmake 5.安装Zlib 6.安装Openssl 7.安装Snappy 8.编译Hadoop 9.本地库检测 10.Hadoop配置Snappy压缩 二.Spark源码编译1.Spark版本选择 2.在线安装Git(root)用户下 3.创建一个目录克隆Spark源代码 4.切换Sp原创 2017-03-23 16:56:39 · 605 阅读 · 0 评论 -
大数据平台Lambda架构详解
Lambda架构由Storm的作者Nathan Marz提出。 旨在设计出一个能满足实时大数据系统关键特性的架构,具有高容错、低延时和可扩展等特性 。 Lambda架构整合离线计算和实时计算,融合不可变(Immutability),读写分离和复杂性隔离等一系列架构原则,可集成Hadoop,Kafka,Storm,Spark,HBase等各类大数据组件。 Lambda架构的主要思想就是原创 2017-05-06 16:41:59 · 10396 阅读 · 4 评论