- 博客(8)
- 收藏
- 关注
RSS订阅原创 理解Zookeeper
Zookeeper在yarn和hdfs中的HA zookeeper会对ResourceManager和NameNode节点相关进程进行监控,他们之间一直在通信,当zookeeper发现RM和NM挂掉的时候,就会通过选举的方式选举另外一个节点对外提供服务,把standby改为active分布式锁Zookeeper是一个分布式协调服务。这样我们就可以利用Zookeeper来协调多个
2015-11-26 15:52:11
2583
原创 Lua入门
http://luabinaries.sourceforge.net/ 下载lua最新版本解压到任意目录,在当前目录下创建test.lua脚本lua中的注释 -- 单行注释 --[[多行注释]]多变量赋值 a,b=1,3lua中的变量无需定义类型.例如 a=123 b="hello world" c=true print(a,b,c) 在一行内打印
2015-11-22 11:41:28
328
转载 Flume-ng的原理和使用
1. 介绍Flume NG是Cloudera提供的一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，Flume NG更像是一个轻量的小工具，非常简单，容易适应各种方式日志收集，并支持failover
2015-11-19 17:25:10
597
原创 理解输入输出流
输入输出流针对的是文件系统和内存把文件读到内存中是输入流 input把文件从内存写入磁盘是输出流 output例如文件的上传过程:先用输入流把要上传的文件读到内存,然后用输出流写到磁盘上
2015-11-16 11:40:50
391
转载 Hadoop Yarn 框架原理及运作机制
1.1 YARN 基本架构YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。
2015-11-14 18:07:57
563
转载 hadoop的文件压缩
目前在Hadoop中用得比较多的有lzo，gzip，snappy，bzip2这4种压缩格式，笔者根据实践经验介绍一下这4种压缩格式的优缺点和应用场景，以便大家在实践中根据实际情况选择不同的压缩格式。1 gzip压缩优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分linux系统都自
2015-11-04 15:12:57
920
原创 hadoop的计数器
MapReduce的计数器主要用来记录job的执行进度和状态,有些像日志的概念,在MapReduce程序中插入计数器,记录数据或进度(例如map处理了多少字节数据,当前有多少条数据不符合格式...)MapReduce计数器可以记录job运行期间的细节数据,进行性能调优MapReduce自带的计数器只要知道计数器的组名(groupName)和计数器名称(counterName)就
2015-11-04 09:32:36
463
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人