#大数据
藏红
不要担心自己走错路误了终身,坚持并保持进步才是正道。
展开
-
Hive入门教程
什么是Hive (1)Hive是基于Hadoop之上的数据仓库 (2)Hive时建立在Hadoop HDFS上的数据库仓库基础架构 (3)Hive可以用来进行数据提取转换加载(ETL) (4)Hive定义了简单的类似SQL查询语言,称为HQL它允许熟悉SQL的用户查询数据 (5)Hive允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper原创 2015-10-03 19:17:42 · 14810 阅读 · 0 评论 -
Hadoop基本原理介绍
转自:http://wangwei.cao.blog.163.com/blog/static/10236252620130253346928/ Hadoop 是一个开源的可运行于大规模集群上的分布式并行编程框架,由于分布式存储对于分布式编程来说是必不可少的,这个框架中还包含了一个分布式文件系统 HDFS( Hadoop Distributed File System )。也许到目前为止,Ha转载 2015-07-17 14:41:08 · 1414 阅读 · 0 评论 -
Hadoop大数据平台架构与实践--基础篇
Hadoop大数据平台的前世今生 Google发布了3大技术:MapReduce、BigTable、 GFS。 这3大技术带来的革命性变化: 革命性的变化1: 成本降低,能用PC机,就不用大型机和高端存储。 革命性的变化2:软件容错硬件故障视为常态、通过软件保证可靠性 革命性的变化3:简化并行分布式计算,无需控制节点同步和数据交换 虽然这3大技术带来了巨大的革命性变化,但是Goog原创 2015-09-23 18:48:42 · 4962 阅读 · 0 评论 -
Storm+Kafka集成
前面介绍了 Storm环境的搭建 和 Kafka环境的搭建。分别是下面两篇文章: http://blog.csdn.net/ch717828/article/details/50748872 http://blog.csdn.net/ch717828/article/details/50718783 这篇介绍了如何将 Storm 和 Kafka进行整合,并且运行了一个代码实例原创 2016-02-26 13:24:37 · 2669 阅读 · 1 评论 -
kafka集群环境搭建
今在完成 storm集群搭建之后,希望集成 kafka。 此文记录搭建的过程。 storm集群搭建可以看 http://blog.csdn.net/ch717828/article/details/50718783 1. 机器准备 我准备了3台机器 ,分别是 10.101.214.71 10.101.214.73原创 2016-02-26 13:10:05 · 5261 阅读 · 0 评论 -
kafka生产者producer的Java实现。
继前面几篇 1. 搭建Storm集群 http://blog.csdn.net/ch717828/article/details/50718783 2. kafka集群环境搭建 http://blog.csdn.net/ch717828/article/details/50748872 3. storm+ kafka集成 http://blog.csdn.net/ch717原创 2016-03-07 12:14:29 · 17344 阅读 · 2 评论 -
搭建Storm集群
今天完成了storm集群的搭建,写一篇博客记录一下,方便以后工作。 总体分为5步。 1. 机器准备 我准备了3台机器 , 其充当的角色分别是 nimbus : 10.101.214.71 zookeeper: 10.101.214.71, 10.101.214.73 , 10.101.214.74 supervisor : 10.101原创 2016-02-22 20:02:44 · 3281 阅读 · 0 评论