- 博客(5)
- 收藏
- 关注
RSS订阅原创 分布式文件系统
常见的分布式文件系统有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。 Google学术论文，这是众多分布式文件系统的起源 ================================== Google File System
2015-10-10 21:30:51
306
原创 hadoop之MAPREDUCE
4. MAPREDUCE入门 Mapreduce是一个分布式的运算编程框架，核心功能是将用户编写的核心逻辑代码分布式地运行在一个集群的很多服务器上； 学习要求：掌握MR程序编程规范； 掌握MR程序运行机制 掌握MR常见需求解决方式 4.1 为什么要MAPREDUCE （1）海量数据在单机上处理因为硬件资源限制，无法胜任，因为需要采用分布式集群的方式来处理。 （2）
2015-10-10 21:26:41
296
原创 hadoop远程调试
JPDA 简介 Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技术是一个多层架构，使您能够在各种环境中轻松调试 Java 应用程序。JPDA 由两个接口（分别是 JVM Tool Interface 和 JDI）、一个协议（Java Debug Wire Protocol）和两个用于合并它们的软件组件（后端和前端）组成。
2015-10-10 21:24:30
331
原创 hadoop之HDFS
2. HDFS 总的设计思想： 设计目标：提高分布式并发处理数据的效率（提高并发度和移动运算到数据） 分而治之：将大文件、大批量文件，分布式存放在大量独立的服务器上，以便于采取分而治之的方式对海量数据进行运算分析； 重点概念：文件切块，副本存放，元数据，位置查询，数据读写流 2.1 hdfs的shell操作 hadoop fs -操作命令 -参数 -ls
2015-10-10 21:16:41
263
原创 64位linux下编译hadoop2.X
1.安装JDK 1.6+（验证：java -version) 1上传 2解压jdk #创建文件夹 mkdir /usr/java #解压 tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/ 3将java添加到环境变量中 vim /etc/profile #在文件最后添加
2015-10-09 21:08:34
266
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人