hadoop2.4.1
_bruceYim
这个作者很懒,什么都没留下…
展开
-
64位linux下编译hadoop2.X
1.安装JDK 1.6+(验证:java -version) 1上传2解压jdk #创建文件夹mkdir /usr/java#解压tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/ 3将java添加到环境变量中vim /etc/profile#在文件最后添加原创 2015-10-09 21:08:34 · 278 阅读 · 0 评论 -
hadoop远程调试
JPDA 简介Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技术是一个多层架构,使您能够在各种环境中轻松调试 Java 应用程序。JPDA 由两个接口(分别是 JVM Tool Interface 和 JDI)、一个协议(Java Debug Wire Protocol)和两个用于合并它们的软件组件(后端和前端)组成。原创 2015-10-10 21:24:30 · 341 阅读 · 0 评论 -
Hadoop简介与hadoop2.4.1伪分布式搭建
Hadoop是什么? 如天上的云,掉到地上的一朵云。通俗易懂就是抽象类或接口的一种实现类。原创 2015-06-20 20:48:41 · 258 阅读 · 0 评论 -
hadoop之MAPREDUCE
4. MAPREDUCE入门Mapreduce是一个分布式的运算编程框架,核心功能是将用户编写的核心逻辑代码分布式地运行在一个集群的很多服务器上;学习要求:掌握MR程序编程规范; 掌握MR程序运行机制 掌握MR常见需求解决方式4.1 为什么要MAPREDUCE(1)海量数据在单机上处理因为硬件资源限制,无法胜任,因为需要采用分布式集群的方式来处理。(2)原创 2015-10-10 21:26:41 · 314 阅读 · 0 评论 -
hadoop之HDFS
2. HDFS总的设计思想:设计目标:提高分布式并发处理数据的效率(提高并发度和移动运算到数据)分而治之:将大文件、大批量文件,分布式存放在大量独立的服务器上,以便于采取分而治之的方式对海量数据进行运算分析;重点概念:文件切块,副本存放,元数据,位置查询,数据读写流2.1 hdfs的shell操作hadoop fs -操作命令 -参数-ls原创 2015-10-10 21:16:41 · 277 阅读 · 0 评论 -
分布式文件系统
常见的分布式文件系统有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。Google学术论文,这是众多分布式文件系统的起源==================================Google File System原创 2015-10-10 21:30:51 · 318 阅读 · 0 评论