cdf861015-CSDN博客

原创 Hadoop生态圈中存在的Apache顶级项目

2008年1月，Hadoop成为Apache顶级项目2009年7月，Avro 和 Chukwa 成为Hadoop新的子项目2010年5月，Avro脱离Hadoop项目，成为Apache顶级项目2010年5月，HBase脱离Hadoop项目，成为Apache顶级项目。2010年5月，Mahout脱离Hadoop项目，成为Apache顶级项目。2010年9月，Hive( Faceb

2014-03-22 11:50:10 1879

转载 hadoop全方位资料整理

一、 Hadoop快速入门分布式计算开源框架Hadoop_入门实践 http://www.itpub.net/thread-1496298-1-1.html 一篇不错的hadoop介绍文章 http://www.itpub.net/thread-1580626-1-1.html 用 Hadoop 进行分布式数据处理---- 入门 http://www.itpub.net/thread

2014-03-04 22:11:52 792

原创 Hadoop版本变迁

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：Ø高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。Ø高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。Ø高效性。Hadoop能够在节点之间动态地移动数据，并保证各个

2014-03-04 21:51:11 1328

转载从Hadoop1.x集群升级到Hadoop2.x失败回滚步骤

在《从Hadoop1.x集群升级到Hadoop2.x步骤》文章中简单地介绍了如何从Hadoop1.x集群升级到Hadoop2.x，那里面只讨论了成功升级，那么如果集群升级失败了，我们该如何从失败中回滚呢？这正是本文所有讨论的。本文将以hadoop-0.20.2-cdh3u4升级到Hadoop-2.2.0升级失败后，如何回滚。　　1、如果你将Hadoop1.x升级到Hadoop2.x的过程中

2014-03-04 21:45:14 1016

转载从Hadoop1.x集群升级到Hadoop2.x步骤

写在前面的话：为了预防升级过程中出现的各种问题，请你最好在集群升级的过程前先备份好集群namenode的元数据（${HADOOP_HOME}/conf/hdfs-site.xml中的dfs.name.dir所配置的文件夹），以免升级失败带来的损失！1、先看下Hadoop1.x集群上面已有的数据：[wyp@master hadoop-0.20.2-cdh3u4]$ bin/hadoop

2014-03-04 21:42:29 1149

转载 Hadoop生态圈

Common: 一组分布文件系统和通用 I/O 组件与接口(序列化、Java RPC 和持久化数据结构)。MapReduce: 分布式数据处理模型和执行环境、运行于大型商用机集群。ZooKeeper: 一个分布式、高可用的协调服务。ZooKeeper 提供分布式锁之类的基本服务用于构建分布式应用。HDFS: 分布式文件系统，运行于大型商用机集群。 Hadoop体系最底层的一个模块。

2014-03-04 21:38:39 809

转载 Hadoop科普文——常见的45个问题解答

在工作生活中，有些问题非常简单，但往往搜索半天也找不到所需的答案，在Hadoop的学习与使用过程中同样如此。这里为大家分享Hadoop集群设置中经常出现的一些问题，以下为译文：1.Hadoop集群可以运行的3个模式？单机（本地）模式伪分布式模式全分布式模式 2. 单机（本地）模式中的注意点？在单机模式（standalone）中不会存在守护

2014-03-03 17:41:34 592

转载电信运营商云计算发展和盈利模式思考

一、引言　　目前，全球正处于信息技术第三次革命浪潮的开端，云计算将成为最新的“颠覆性”推动力量，提高社会生产力，推动社会整体信息化水平，并彻底颠覆目前的商业模式及体系。根据Gartner的数据，2012年全球云计算服务规模约为1000亿美元，未来几年年均增长率预计将超过20%，2015年全球云计算服务市场规模将达到1768亿美元。　　广义的云计算包括基础设施即服务（IaaS）层、

2014-03-03 17:40:34 1141

转载 Hadoop核心架构内部机理详解

HDFS的体系架构整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过MR来实现对分布式并行任务处理的程序支持。HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改hadoop源代码实现的功能

2014-03-03 17:39:36 753

memcached最吸引人的地方主要在于它的分布式。分布式对于互联网应用来讲，按照用途基本上可划分为三种方式：分布式计算、分布式存储和两者兼而有之。memcached是分布式存储的一种。我们常见的分布式存储大多数是将N台设备（server或者单独的存储）构建成盘阵，而memcached旨在构建一个高速的内存池。更通俗一点来讲：分布式计算是将N颗cpu组装成一颗cpu，分布式慢速存储是将N个硬盘组装

2014-01-23 15:12:41 587

转载 memcached简介

背景 memcached是一个高性能、分布式的内存对象缓存系统。 memcached广泛应用在大负载高并发的网站上，是一种非常成熟的产品（称为一项技术也未尝不可）。像facebook，youtube,yahoo,sina，sohu，netease，豆瓣等网站均或多或少使用了该项产品。memcached在以用户为中心的网站上，表现尤其突出，例如sns,blog等web2.0应用的

2014-01-23 15:11:09 499

转载 MySQL数据库的数据库引擎

一般来说，MySQL有以下几种引擎：ISAM、MyISAM、HEAP、InnoDB和Berkley（BDB）。注意：不同的版本支持的引擎是有差异的。当然啦，如果你感觉自己的确技术高超，你还能够使用MySQL++来创建自己的数据库引擎，这个已经out of my knowledge，牛人可以参照MySQL++ API帮助来实现。下面逐一叙述这5种引擎各自的特性：ISAMISAM是

2014-01-23 10:22:25 675

转载 MySQL数据库性能优化之存储引擎选择(MyISAM、InnoDB、NDBCluster)

前言MySQL 的存储引擎可能是所有关系型数据库产品中最具有特色的了，不仅可以同时使用多种存储引擎，而且每种存储引擎和MySQL之间使用插件方式这种非常松的耦合关系。由于各存储引擎功能特性差异较大，这篇文章主要是介绍如何来选择合适的存储引擎来应对不同的业务场景。 MyISAM1.特性　　不支持事务：MyISAM存储引擎不支持事务，所以对事务有要求的业

2014-01-23 09:53:45 2767

转载 2014 年推荐给 Web 设计师的 15 款 HTML&CSS 框架

现在，我们来介绍 2014 年推荐给 Web 设计师的 15 款 HTML&CSS 框架。阅读下面的框架列表，跟我们分享你的看法吧：）CSS 框架1) ToastToast 是一款让所有设计都尽可能简单的 CSS 框架，但它又一点也不简单。一个全英文响应式网格很容易就构造一个简单的布局，box-sizing 功能允许用户自由的填充网页和网格边界，而不需要改变其他任何一个地方

2014-01-21 09:38:32 842

原创 First Blood

爱好：Dota技能：C++ Linux Shell Oracle Hadoop Hbase Hive 工作年限：09年至今现状：从事项目管理工作未来的发展方向：大数据方向

2014-01-16 22:26:24 591

dfzha的专栏