distribution
free9277
芝兰生于幽林不以无人而不芳君子修道立德不为穷困而改节
展开
-
浅谈云计算
写于2013-03-18 15:21 由于公司组织结构的调整,我们部门换了新的领导。本来临阵换帅是兵家大忌,我的士气也低落了好几天。不过生活就是如此,瞬息万变。权力之争也好,个人恩怨也好,我也只好既来之久则安之咯。看成败,人生豪迈。 早上新的领导来了一次动员大会,其实说白了就是摸我们的底吧。他叫我们各自谈谈我们对"云计算"和"大数据"的...2013-03-20 10:30:44 · 185 阅读 · 0 评论 -
浅谈大数据
1. 概念用传统方法或工具无法解决的数据。在合理的时间内无法达到数据的加工、处理和传递,并整理成帮助企业经营决策的信息。 2. 特点 (1)数据量大。 (2)类型多。 (3)处理速度快。 3. 数据来源人与人、人与机器、机器与机器的交互时产生的数据。比如:互联网,物联网、手机、传感器等。 4.涉及的技术分布式计算与存...2013-03-20 11:18:46 · 90 阅读 · 0 评论 -
Hive简单介绍
背景及体系结构1背景应用于工业的商务智能收集分析所需的数据集正在大量增长,使得传统的数据仓库解决方案变得过于昂贵。Hadoop 是一个流行的开源map-reduce实现,用于像yahoo, Facebook一类的公司。来存储和处理商用硬件上的大范围数据集。然而map-reduce程序模型还是处于很低级别,即需要开发者来书写客户程序,这些程序往往难于维护与重用。用hbase做数据库,...2013-04-10 10:34:01 · 93 阅读 · 0 评论 -
Hive部署(包括集成Hbase和Sqoop)
Hive部署(包括集成Hbase和Sqoop) 1 安装环境1.1 系统环境 主要是选择软件版本。Hadoop 1.0.3Hbase 0.94.0Hive 0.8.1zookeeper-3.3.5Mysql 5.5.28JDK 1.6Sqoop-1.4.21.2 环境变量$HDOOP_HOME:/home/hadoop/ha...2013-04-14 12:50:00 · 129 阅读 · 0 评论 -
hadoop添加删除节点
添加节点1.修改host 和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves 添加新增节点的ip或host 3.在新节点的机器上,启动服务 [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode[root@slave-004 had...原创 2014-06-26 14:56:02 · 168 阅读 · 0 评论 -
Hbase实战
1、 背景 网站日趋成熟,用户量趋向稳定。客户想从网站产生的用户行为信息中获取一些有用的信息,以便支持决策。便有了今天《运营分析平台》这个项目,项目的主要内容包括:1、日志入库(数据库使用DB2),2、根据客户提供的规则进行一些简单的统计汇总,然后报表展示结果,这些规则一般很简单。3、对资源和 业务进行阀值实时监控预警。4、日志明细的查询。 如...原创 2014-08-04 17:16:52 · 265 阅读 · 0 评论 -
使用MapReduce实现单词计数
1 描述 假定有一组文件,以空格为分隔符存放着数据。计算一组文件中字符所出现的次数。 输入:Hello WorldHello my loveHello World , i love you 输出:Hello 3World 2love 2...2 实现思路Map函数: 以字符作为key值,value...2014-04-15 11:18:12 · 2018 阅读 · 0 评论 -
使用MapReduce实现矩阵向量相乘
1 描述 假定有一个n*n的矩阵M,其第i行第j列的元素记为。假定有一个n维向量v,其第j个元素记为。于是,矩阵M和向量v的乘积结果是一个n维向量x,其第i个元素为 如: 要求输入:向量为(2,3,4)11 22 3333 44 5566 77 88 输出:0 2201 4182 7152 实现思路 假如这里n很...2014-04-16 11:12:28 · 2132 阅读 · 1 评论