Hadoop
寸辰
这个作者很懒,什么都没留下…
展开
-
Hadoop学习笔记(九)HDFS架构分析
HDFS设计目标巨大的分布式文件系统:10PB以上,万个以上节点运行于普通硬件:文件多重备份,探测失败和错误恢复优化批处理:数据暴漏位置,以便计算能够挪到数据附近;提供高举和的带宽用户控件可以位于异构的操作系统中在整个集群中使用单一的命名空间数据一致性:写入一次读取多次的访问模型;客户端只能追加已有的文件文件被分割:默认一块64M;每一块复制到不同DataNode智能客户端:客户端能原创 2015-10-17 20:36:41 · 992 阅读 · 0 评论 -
【JAVA笔记——道】Hadoop设计模式--抽象类
抽象类使用技巧在过去我们进行类的衍生中,使用的比较多的是接口。 接口的自由性和拓展性都是接口的比较重要的优势,因为耦合性的关系,我们都在尽量避免继承,但无可否认,抽象类在一定情况下同样拥有良好的使用效果。正如《JAVA编程思想》所述,每一个JAVA的特性都会拥有用武之地。抽象层 重载在抽象层进行类的重载可以有效减少在实现层进行重载的代码量,特别是对于抽象层延展比较多的代码。以下Demon截取自Ha原创 2015-11-20 17:45:00 · 1295 阅读 · 0 评论 -
Hadoop BigTable
仅用作记录,过后分析原创 2015-12-26 11:42:56 · 1106 阅读 · 0 评论 -
Hadoop学习笔记(十一)思维导图整理(附源文件)
在父亲生病的这几个月断断续续把《Hadoop实战》和《Hadoop权威指南》看了一遍,之前写的《Hadoop笔记》还有许多坑没填,有机会再填填坑。 之后思考一下学习的方向,看看自己究竟是往HDFS深究还是向算法方面发展,就像董西城老师博客中写到的,有时候学的太盲目就像值栈溢出,到头来只能是迷失。附整理之后的图片和PDF 百度网盘:图片链接:http://pan.baidu.com/s/1i3YH原创 2015-12-22 13:55:58 · 8169 阅读 · 1 评论 -
Hadoop学习笔记(四)Hadoop伪分布式配置
Hadoop配置文档(二)这一篇是介绍Hadoop伪分布式的配置中的Hadoop的配置。第一部分是Hadoop1.0配置,第二部分是Hadoop2.0的配置,大家可以自己选择查看。 Linux配置可以查看 Hadoop学习笔记(三)Linux环境配置Hadoop1.0配置介绍Hadoop的五个核心守护进程有:NameNode,SecondaryNameNode,DataNode,JobTrac原创 2015-10-02 13:34:12 · 814 阅读 · 0 评论 -
Hadoop学习笔记(三)Linux环境配置
Hadoop配置文档(一)下载安装下载jdk-7u80-linux-x64.tar.gz sudo tar -xvf jdk-7u80-linux-x64.tar.gz -C /opt/modules/下载hadoop-1.2.1-bin.tar.gz sudo tar -xvf hadoop-1.2.1-bin.tar.gz -C /opt/modules/现在各位小伙伴Hadoop2用的比较原创 2015-10-01 21:25:36 · 1250 阅读 · 0 评论 -
Hadoop DataNode与DFSClient交互
<property> <name>dfs.datanode.shared.file.descriptor.paths</name> <value>/dev/shm,/tmp</value> <description> A comma-separated list of paths to use when creating file descriptors that wil原创 2015-12-02 10:25:12 · 790 阅读 · 0 评论 -
HADOOP Unable to load native-hadoop library for your platform解决办法
最初在CentOS6.5 *64上部署hadoop2.6.0,在启动时提示 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 在stackoverflow查了一下,刚开始我也以原创 2015-11-26 09:46:35 · 1392 阅读 · 0 评论 -
Hadoop学习笔记(八)MapReduce
MapReduce深入分析Hadoop中MapReduce提供的主要是离线端的数据分析。根据其原理,可以将其分为两个阶段 1. Map 2. Reduce阶段Hadoop在MapReduce设计方面主要有两个重要思想:化整为零,分而治之。数据加工终端化。数据在终端加工要比数据传输后再加工节省资源。输入输出分析InputFormatInputSplit是Hadoop定义的用以 传送每个单独的原创 2015-10-15 15:17:00 · 863 阅读 · 0 评论 -
Hadoop学习笔记(二)浅谈Hadoop守护进程
Hadoop初学笔记(二)浅谈Hadoop守护进程对于分布式系统架构来说,一般而言分成两个部分:管理层,用于对应用层的管理应用层,用于任务的执行在Hadoop中,主要的后台守护进程原创 2015-09-22 15:42:36 · 2414 阅读 · 0 评论 -
Hadoop学习笔记(一)
Hadoop初学者的Hadoop基础知识,包括Hadoop版本介绍,Hadoop模块介绍,Hadoop核心分析原创 2015-09-22 13:52:38 · 1525 阅读 · 0 评论 -
Hadoop HDFS copyMergeFromLocal
在谈到HDFS优化中,其中HDFS擅长处理大文件,而对于小文件常用的优化策略有压缩合并。在此列举小文件合并工具类供参考。/*** Get all the files in the directories that match the source file pattern* and merge and sort them to only one file on HDFS is kept.*原创 2015-10-24 22:49:22 · 1816 阅读 · 0 评论 -
Hadoop学习笔记(六)启动Shell分析
Hadoop启动Shell分析使用$HADOOP_HOME/start-all.sh启动Hadoop守护进程查看守护进程启动顺序,并解析相关shell原创 2015-10-03 22:43:56 · 1354 阅读 · 1 评论 -
Hadoop学习笔记(五)日志系统
Hadoop日志简单介绍原创 2015-10-02 14:10:34 · 752 阅读 · 0 评论 -
【JAVA笔记——术】GetResource 实现方式
Java getResource实现方式原创 2016-06-13 11:33:14 · 940 阅读 · 0 评论