hadoop 和 storm
jim_cainiaoxiaolang
我热爱大数据开发,希望大家多交流
展开
-
hadoop入门篇-简介(1)
1.Hadoop是什么?1).面向大数据处理;2).擅长离线数据分析;3).分布式文件系统+计算框架;4).Hadoop丌是数据库,Hbase才是数据库;5).Hadoop是一个快速迚化的生态系统。2.大数据平台知识路线图3.hadoop典型职位运维;Hadoop程序员(M-R,源代码);架构师;数据仓库工程师原创 2016-04-10 08:08:53 · 267 阅读 · 0 评论 -
想学Storm吗?Let‘s go(1)
转载请注明出处:http://blog.csdn.net/jim_cainiaoxiaolang作者:jim_cainiaoxiaolang总体来说,接触Storm这一块已经有一年多了,但是一直没有做一些从事这方面的具体project,由于前一段工作的完结,这一段时间打算重新好好研究一下Storm。本人对于Hadoop有一定的了解,一直在从事Hadoop对于批量数据处理方面原创 2016-09-07 13:49:33 · 320 阅读 · 0 评论 -
HBase (2)---数据存储结构
在本文中的HBase术语:基于列:column-oriented行:row列组:column families列:column单元:cell 理解HBase(一个开源的Google的BigTable实际应用)最大的困难是HBase的数据结构概念究竟是什么?首先HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase基于列的而不是转载 2016-10-11 19:08:23 · 329 阅读 · 0 评论 -
Hbase的数据模型
BigTable是什么?Google的Paper对其作了充分的说明。字面上看就是一张大表,其实和我们想象的传统数据库的表还是有些差别的。松散数据可以说是介于Map Entry(key & value)和DB Row之间的一种数据。在我使用Memcache的时候,有时候的需求是需要存储的不仅仅是简单的一个key对应一个value,可能我需要类似于数据库表结构中多属性的存储,但是又不会有传统数据库表结转载 2016-10-11 16:37:41 · 323 阅读 · 0 评论 -
exception in thread "main" java.lang.RuntimeException: java.lang.IllegalArgumentException: java.net.
exception in thread "main" java.lang.RuntimeException: java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7原创 2016-08-10 17:22:58 · 1701 阅读 · 0 评论 -
centos下mysql的安装
1 Centos 6.6下安装Mysql很简单, yum list mysql-server 2 当只有一个时候就可以直接 yum install mysql-server 进行安装 3 过程中选择Y继续安装,最后安装成功 设置Mysql的服务 1 先启动Mysql服务 service mysqld start 2 连接一原创 2016-08-10 16:18:31 · 181 阅读 · 0 评论 -
pig ERROR 2997: Encountered IOException
2016-08-09 01:30:53,107 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - fs.default.name is deprecated. Instead, use fs.defaultFSgrunt> ls2016-08-09 01:31:23,362 [main] ERROR org.原创 2016-08-09 16:35:17 · 814 阅读 · 0 评论 -
一步步教你安装hadoop
1.一步步教你hadoop多节点安装配置:http://www.cnblogs.com/lanxuezaipiao/p/3525554.html2.搭建hadoop集群环境:http://blog.sina.com.cn/s/blog_62c8de540101qrea.html : http://codesfusion原创 2016-04-23 08:55:10 · 859 阅读 · 0 评论 -
wordcount的运行过程
1.2.原创 2016-04-19 11:13:10 · 369 阅读 · 0 评论 -
分布式文件系统HDFS原理与操作
1.HDFS: 提供分布式存储机制,提供可线性增长的海量存储能力; 自劢数据冗余,无须使用Raid,无须另行备份; 为进一步分析计算提供数据基础。2.HDFS设计的基础与目标: HDFS是基于流数据模式访问和处理超大文件的需求而开发的,可以运行与廉价的商业服务器上。 主要特点: 1).处理超大文件;原创 2016-04-12 19:13:12 · 1111 阅读 · 0 评论 -
hadoop学习结构图
主要学习分布式的相关知识之后,学习hadoop的核心组件MapReduce和HDFS。原创 2016-03-27 21:32:45 · 441 阅读 · 0 评论 -
hadoop架构
1.hadoop子项目家族: HBase,Pig,Hive,Chukwa MapReduce,HDFS,ZooKeeper Core,Avro2.hadoop架构 3.Namenode4.Secondary Namenode5.DataNode6.JobTrack原创 2016-04-10 09:44:05 · 373 阅读 · 0 评论 -
hadoop入门篇—简介(2)
1.hadoop的思想之源:google1)Google的低成本之道:1)丌使用超级计算机,丌使用存储(淘宝的去i,去e,去o之路); 2)大量使用普通的pc朋务器(去掉机箱,外设,硬盘),提供有冗余的集群朋务;原创 2016-04-10 08:33:16 · 233 阅读 · 0 评论 -
常见分布式计算技术
中间件技术中间件作为构建,是分布式系统中介于应用层和网络层的一个功能层次,它能够屏蔽操作系统(或网络协议)的差异,实现分布式异构系统之间的互通或互操作。分布式 应用软件借助这种软件在不同的域之间共享资源。中间件位于客户机服务器的操作系统之上,管理计算资源和网络通信。它扩展了C/S结构,形成了一个包括客 户端、中间件和服务器的多层结构。基于中间件的分布式计算技术以中间件为桥梁,通过把转载 2017-03-01 14:43:09 · 2532 阅读 · 0 评论