- 博客(4)
- 收藏
- 关注
原创 Myeclipse 的hadoop环境搭建
Windows 下配置 MyEclipse 连接 linux下 Hadoop 完全分布式集群 开发环境环境及配置:MYEclipse 8以上版本(window)Hadoop Eclipse插件插件包 hadoop-eclipse-plugin-x.x.x.jar 根据自己使用的hadoop版本选择对应的插件包LINUX下hadoop完全分布式
2017-07-19 08:19:49
351
原创 Unable to load native-hadoop library for your...问题详解
HADOOP的本地库(NATIVE LIBRARIES)介绍Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries)的概念,通过本地库,Hadoop可以更加高效地执行某一些操作。目前在Hadoop中,本地库应用在文件的压缩上面:zlibgzip gzip在使用这两种压缩方式的时候,Hadoop默认会从$HADOO
2017-07-19 08:03:18
1486
转载 MapReduce工作原理
1.MapReduce作业运行流程流程分析:1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3.将运行作业所需要的资源文件复制到HDFS上,包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。这些文件都存放在JobTracker专门为该作业创建的文件夹中。文件夹名为该作业的
2017-06-22 08:34:47
292
转载 【Hadoop】HDFS的运行原理
简介HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。
2017-06-20 08:42:07
326
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人