自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 收藏
  • 关注

原创 linux命令

vmstat -n  监控内存使用情况(n:每隔多少秒显示一次)

2015-11-30 14:10:10 235

原创 理解Zookeeper

Zookeeper在yarn和hdfs中的HA     zookeeper会对ResourceManager和NameNode节点相关进程进行监控,他们之间一直在通信,当zookeeper发现RM和NM挂掉的时候,就会通过选举的方式选举另外一个节点对外提供服务,把standby改为active分布式锁Zookeeper是一个分布式协调服务。这样我们就可以利用Zookeeper来协调多个

2015-11-26 15:52:11 2583

原创 Lua入门

http://luabinaries.sourceforge.net/  下载lua最新版本解压到任意目录,在当前目录下创建test.lua脚本lua中的注释   -- 单行注释    --[[多行注释]]多变量赋值  a,b=1,3lua中的变量无需定义类型.例如  a=123  b="hello world"   c=true    print(a,b,c) 在一行内打印

2015-11-22 11:41:28 328

转载 Flume-ng的原理和使用

1. 介绍Flume NG是Cloudera提供的一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG,进行了架构重构,并且现在NG版本完全不兼容原来的OG版本。经过架构重构后,Flume NG更像是一个轻量的小工具,非常简单,容易适应各种方式日志收集,并支持failover

2015-11-19 17:25:10 597

原创 理解输入输出流

输入输出流针对的是文件系统和内存把文件读到内存中是输入流  input把文件从内存写入磁盘是输出流  output例如文件的上传过程:先用输入流把要上传的文件读到内存,然后用输出流写到磁盘上

2015-11-16 11:40:50 391

转载 Hadoop Yarn 框架原理及运作机制

1.1 YARN 基本架构YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配,而ApplicationMaster负责单个应用程序的管理。

2015-11-14 18:07:57 563

转载 hadoop的文件压缩

目前在Hadoop中用得比较多的有lzo,gzip,snappy,bzip2这4种压缩格式,笔者根据实践经验介绍一下这4种压缩格式的优缺点和应用场景,以便大家在实践中根据实际情况选择不同的压缩格式。1 gzip压缩优点:压缩率比较高,而且压缩/解压速度也比较快;hadoop本身支持,在应用中处理gzip格式的文件就和直接处理文本一样;有hadoop native库;大部分linux系统都自

2015-11-04 15:12:57 920

原创 hadoop的计数器

MapReduce的计数器主要用来记录job的执行进度和状态,有些像日志的概念,在MapReduce程序中插入计数器,记录数据或进度(例如map处理了多少字节数据,当前有多少条数据不符合格式...)MapReduce计数器可以记录job运行期间的细节数据,进行性能调优MapReduce自带的计数器只要知道计数器的组名(groupName)和计数器名称(counterName)就

2015-11-04 09:32:36 463

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除