2016年02月_anickname

12月 11月 09月 08月 07月 05月 03月 02月 01月

转载 Hadoop Yarn 框架原理及运作机制

1.1 YARN 基本架构YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。

2016-02-29 09:29:07 534

原创 yarn内存配置

根据具体集群情况，官方提供了一个python编写的内存计算工具：linux环境下执行命令python yarn-utils.py -c 32 -m 128 -d 7 -k False，其中参数说明如下： -c：核数 -m：内存大小 -d：磁盘数 -k：hbase是否安装。False-没有安装 True-安装会生成一串信息：Using cores=32 m

2016-02-25 14:58:01 822

转载视图的优缺点

一:视图的简介视图是一个虚拟表，其内容由查询定义。同真实的表一样，视图包含一系列带有名称的列和行数据。但是，视图并不在数据库中以存储的数据值集形式存在。行和列数据来自由定义视图的查询所引用的表，并且在引用视图时动态生成。对其中所引用的基础表来说，视图的作用类似于筛选。定义视图的筛选可以来自当前或其它数据库的一个或多个表，或者其它视图。分布式查询也可用于定义使用多个异类

2016-02-23 09:53:36 8954 2

原创待机、休眠、睡眠的区别（整理）

作为一个计算机专业毕业的人，我居然不知道这三者的具体区别是什么太菜了，从网上查了下整理这篇小知识。电脑闲置的时候,除了关机之外,用户还可以考虑将电脑设为休眠或睡眠状态。与关机相比,系统具有以下休眠和睡眠区别和优点:1:不需要关闭正在进行的工作,电脑唤醒后,所有打开的程序、窗口马上恢复至休眠或睡眠之前的状态,方便用户继续完成中断的工作。2:唤醒的速度比开机快都多。正常开机

2016-02-22 09:33:40 21371

原创 hbase shell常用命令总结

输入help命令看所有命令及分组情况。1.当前用户 whoami2.看hbase服务器状态 status3.看hbase版本 version4.列出所有的表 list5.创建表，可使用create help命令看创建案列 create 't1','cl1','cl2','cl3'说明：表名t1，三个列族cl1，cl2，cl36.查看表详细信息 d

2016-02-15 16:47:31 712

转载简单理解什么是MapReduce！

例子你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数出有多少张是黑桃。MapReduce方法则是：给在座的所有玩家中分配这摞牌让每个玩家数自己手中的牌有几张是黑桃，然后把这个数目汇报给你-----map你把所有玩家告诉你的数字加起来，得到最后的结论-----reduce拆分MapReduce合并了两种经典函数：

2016-02-14 16:48:13 695

hdfs federation--hdfs联邦，Hadoop 2.0以后引入的两大重要特性之一(HA和联邦)。HA保证了在主namenode节点出故障宕机之后，备namenode节点迅速接管主namenode工作，从而使得集群不间断的对外提供服务。hdfs在数据存储节点datanode上支持水平扩展，而namenode不支持水平切分。其所存储的文件数量依赖namenode内存大小，只有一个name

2016-02-02 16:00:43 704

原创五个不需要使用大数据的理由！

现在的大数据是热火朝天，最开始是在新兴互联网行业兴起，随着企业和国家的重视，越来越多的企业或者说传统企业也开始重视起来，我经历过一些大数据项目经验，结合所做项目总结五点需要使用大数据的理由。1.数据量不大。业务系统源数据量不足1T，关系型数据库足够存储。2.数据结构化。Hadoop的真正价值在于处理大数据量的半结构化或非结构化数据。比如网页，日志等。3.响应速度不高。只是做

2016-02-02 15:24:30 746