
Hadoop
文章平均质量分 70
yangzhenping
我坚信让我一往无前的唯一力量就是我热爱我所做的一切!
展开
-
在HDInsight中从Hadoop的兼容BLOB存储查询大数据的分析
在HDInsight中从Hadoop的兼容BLOB存储查询大数据的分析低成本的Blob存储是一个强大的,通用的Hadoop兼容Azure存储解决方案无缝集成HDInsight。通过Hadoop分布式文件系统(HDFS)接口,完整的组件集合在HDInsight可以在Blob存储数据的直接操作。在本教程中,学习如何建立一个容器的Blob存储,然后在里面处理的数据。在BLOB存储中存储的数据能够用于计算的HDInsight集群被安全地删除,而不会丢失用户数据。翻译 2014-11-11 10:17:09 · 3597 阅读 · 1 评论 -
Hadoop,HBase,Storm,Spark到底是什么?
Hadoop,HBase,Storm,Spark到底是什么?Hadoop=HDFS+Hive+Pig+...原创 2014-12-09 17:06:30 · 33401 阅读 · 1 评论 -
发布Apache Hadoop 2.6.0——异构存储,长时间运行的服务与滚动升级支持
发布Apache Hadoop 2.6.0——异构存储,长时间运行的服务与滚动升级支持我很高兴地宣布,在Apache的Hadoop社区已经发布的Apache Hadoop的2.6.0:http://markmail.org/message/gv75qf3orlimn6kt!特别是,我们很高兴在此版本中相关的三个主要片:异构存储在HDFS使用SSD和内存层,支持长时间运行在YARN服务和滚动升级,将升级您的集群软件,然后重新启动升级的节点而无需关闭群集或丢失正在进行的工作。YARN作为其架构中心,Hado翻译 2014-12-08 11:09:54 · 5479 阅读 · 0 评论 -
通过京东技术演进和淘宝技术演进,探察未来技术和架构
通过京东技术演进和淘宝技术演进,探察未来技术和架构我们从京东和淘宝技术架构演进,可以看出电商在发展过程中的必经之路:Mysql->Oracle->分布式计算和分布式存储->???未来原创 2014-12-23 21:09:49 · 7768 阅读 · 0 评论 -
HDInsight如何创建Hadoop集群
HDInsight如何创建Hadoop集群带大家一起看下微软Azure云中的Hadoop集群创建,首先你必须先创建个存储账号,然后新建Hadoop集群,等待21分钟左右,一个Hadoop集群就创建完成了,看图:原创 2014-12-15 17:46:20 · 3156 阅读 · 1 评论 -
HDInsight-Hadoop实战(一)网站日志分析
HDInsight-Hadoop实战(一)网站日志分析简介 在此示例中,你将使用分析网站日志文件的 HDInsight 查询来深入了解客户使用网站的方式。借助此分析,你可查看外部网站一天内对该网站的访问频率以及用户体验的网站错误总结。原创 2014-12-15 18:03:23 · 8355 阅读 · 1 评论 -
HDInsight-Hadoop实战(二)传感器数据分析
HDInsight-Hadoop实战(二)传感器数据分析简介 现在很多个人和商业设备含有从物理世界中收集信息的传感器。例如,大多数电话拥有 GPS,健身设备可跟踪你走的步数,恒温控制器可监控建筑的温度。 在此教程中,你将了解如何将 HDInsight 用于处理暖气、通风和空气调节 (HVAC) 系统产生的历史数据,以识别不能有效维持设定温度的系统。你将了解如何:原创 2014-12-15 18:12:45 · 4650 阅读 · 1 评论 -
HDinsight Storm概述
HDinsight Storm概述什么是Storm?Apache Storm是一个分布式,容错,开放源码的计算系统,让你来处理数据的实时。Storm解决方案还可以提供有保证的处理的数据,与重试未成功处理的第一次数据的能力。翻译 2014-12-16 11:10:53 · 3439 阅读 · 1 评论 -
HDInsight HBase的概述
HDInsight HBase的概述什么是HBase的?HBase的是建立在Hadoop的Apache的开源的NoSQL数据库,提供了大量的非结构化和半结构化数据的随机存取和强大的一致性。它是仿照谷歌的BigTable是一个列面向家庭的数据库。数据被存储在一排内的表和数据的行是由列族分组。 HBase的是在这个意义上,无论是列也不存储在其中的数据类型需要在使用它们之前所定义的模式的更小的数据库。开放源代码是首次发布由Mike Cafarella于2007年,线性扩展处理PB级数据数千个节点。它可以依靠数翻译 2014-12-16 10:45:05 · 2389 阅读 · 0 评论 -
建立HBase的集群和HDInsight在Hadoop中使用Hive来查询它们
建立HBase的集群和HDInsight在Hadoop中使用Hive来查询它们在本教程中,您将学习如何创建和查询HDInsight使用HiveHadoop的HBase的表。下列步骤描述:•如何使用提供在Azure门户的HBase的集群。•如何启用和使用RDP访问HBase的外壳,并使用HBase的外壳创建HBase的示例表,添加行,然后列出表中的行。•如何创建一个Hive表映射到一个现有的HBase的表,使用HiveQL查询数据在HBase的表。•如何使用Microsoft HBase的REST客翻译 2014-11-13 15:19:18 · 4599 阅读 · 1 评论 -
在HDInsight中开始使用Hadoop与Hive来分析移动手机使用
在HDInsight中开始使用Hadoop与Hive来分析移动手机使用为了能让你迅速上手使用HDInsight,本教程将向您介绍如何运行一个查询Hive提取的Hadoop集群,从非结构化数据的有意义的信息。然后,你将分析结果在Microsoft Excel中。翻译 2014-11-12 10:24:44 · 3921 阅读 · 1 评论 -
在HDInsight中的Hadoop介绍
在HDInsight中的Hadoop介绍概览Azure的HDInsight是,部署和规定的Apache™Hadoop®集群在云中,提供用于管理,分析和大数据报告软件框架中的服务。翻译 2014-11-10 16:32:52 · 3989 阅读 · 1 评论 -
计算下微软Windows Azure HDInsight中Hadoop和HBase的成本和省钱秘籍
计算下微软Windows Azure HDInsight中Hadoop和HBase的成本和省钱秘籍计算:以一个最简单Hadoop集群来计算,需要两个头节点(Namenode)和两个数据节点(Datanode)以及3个Zookeeper结点,这样算下来每小时要5.44+2.72*2+0*3=10.88RMB,每天需要10.88*24=261.12RMB,每个月需要261.12*30=7833.6RMB,这是最低配置!原创 2014-12-11 10:52:06 · 3094 阅读 · 1 评论