Hbase实战

1、 背景         网站日趋成熟,用户量趋向稳定。客户想从网站产生的用户行为信息中获取一些有用的信息,以便支持决策。便有了今天《运营分析平台》这个项目,项目的主要内容包括:1、日志入库(数据库使用DB2),2、根据客户提供的规则进行一些简单的统计汇总,然后报表展示结果,这些规则一般很...

2014-08-04 17:16:52

阅读数 12

评论数 0

hadoop添加删除节点

添加节点 1.修改host   和普通的datanode一样。添加namenode的ip  2.修改namenode的配置文件conf/slaves   添加新增节点的ip或host  3.在新节点的机器上,启动服务  [root@slave-004 hadoop]# ./bin/h...

2014-06-26 14:56:02

阅读数 14

评论数 0

使用MapReduce实现矩阵向量相乘

1  描述      假定有一个n*n的矩阵M,其第i行第j列的元素记为。假定有一个n维向量v,其第j个元素记为。于是,矩阵M和向量v的乘积结果是一个n维向量x,其第i个元素为     如:     要求输入:向量为(2,3,4) 11 22 33 33 44 55 66 77 88...

2014-04-16 11:12:28

阅读数 70

评论数 0

使用MapReduce实现单词计数

1  描述        假定有一组文件,以空格为分隔符存放着数据。计算一组文件中字符所出现的次数。        输入: Hello World Hello my love Hello World , i love you      输出: Hello 3 World 2 ...

2014-04-15 11:18:12

阅读数 157

评论数 0

Hive部署(包括集成Hbase和Sqoop)

  Hive部署(包括集成Hbase和Sqoop)  1 安装环境 1.1 系统环境     主要是选择软件版本。 Hadoop 1.0.3 Hbase 0.94.0 Hive 0.8.1 zookeeper-3.3.5 Mysql 5.5.28 JDK 1.6 S...

2013-04-14 12:50:00

阅读数 7

评论数 0

Hive简单介绍

背景及体系结构 1背景 应用于工业的商务智能收集分析所需的数据集正在大量增长,使得传统的数据仓库解决方案变得过于昂贵。Hadoop 是一个流行的开源map-reduce实现,用于像yahoo, Facebook一类的公司。来存储和处理商用硬件上的大范围数据集。然而map-reduce程序模...

2013-04-10 10:34:01

阅读数 6

评论数 0

浅谈大数据

1. 概念 用传统方法或工具无法解决的数据。在合理的时间内无法达到数据的加工、处理和传递,并整理成帮助企业经营决策的信息。   2. 特点       (1)数据量大。       (2)类型多。       (3)处理速度快。   3. 数据来源 人与人、人与机器、机器与机...

2013-03-20 11:18:46

阅读数 11

评论数 0

浅谈云计算

       写于2013-03-18 15:21          由于公司组织结构的调整,我们部门换了新的领导。本来临阵换帅是兵家大忌,我的士气也低落了好几天。不过生活就是如此,瞬息万变。权力之争也好,个人恩怨也好,我也只好既来之久则安之咯。看成败,人生豪迈。          早...

2013-03-20 10:30:44

阅读数 22

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭