- 博客(4)
- 收藏
- 关注
RSS订阅原创 Myeclipse 的hadoop环境搭建
Windows 下配置 MyEclipse 连接 linux下 Hadoop 完全分布式集群 开发环境环境及配置：MYEclipse 8以上版本（window）Hadoop Eclipse插件插件包 hadoop-eclipse-plugin-x.x.x.jar 根据自己使用的hadoop版本选择对应的插件包LINUX下hadoop完全分布式
2017-07-19 08:19:49
351
原创 Unable to load native-hadoop library for your...问题详解
HADOOP的本地库（NATIVE LIBRARIES）介绍Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（Native Libraries）的概念，通过本地库，Hadoop可以更加高效地执行某一些操作。目前在Hadoop中，本地库应用在文件的压缩上面：zlibgzip gzip在使用这两种压缩方式的时候，Hadoop默认会从$HADOO
2017-07-19 08:03:18
1486
转载 MapReduce工作原理
1.MapReduce作业运行流程流程分析：1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。这些文件都存放在JobTracker专门为该作业创建的文件夹中。文件夹名为该作业的
2017-06-22 08:34:47
292
转载 【Hadoop】HDFS的运行原理
简介HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。HDFS有很多特点： ① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。
2017-06-20 08:42:07
326
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人