hadoop
风中追风风
博客内容只做个人笔记,博客时间不代表实践时间,内容仅供参考,我1925432244,nifi大师群:492666008
展开
-
vmvare上hadoop2.6的伪分布环境搭建
1.cenos6.5的VMWare版本安装,vmware tools安装,http://jingyan.baidu.com/article/da1091fb3e618a027849d683.html2.hadoop 伪分布配置 (注意俩片的参考要结合的看,有些内容不一定都对,需要相互参考) http://www.tuicool.com/articles/NBvMv2 (注:ubuntu为dem原创 2015-11-17 10:11:38 · 486 阅读 · 0 评论 -
hadoop2.6.0全分布实现
本文章在转载的基础上,实践的时候做了一些文档的完善环境:centos 6.5 + hadoop2.6虚拟机:(vmware fusion 7.0.0)虚拟机hostname / IP地址master / 192.168.187.102slave01 / 192.168.187.103slave02 / 192.168.187.104注:前三个步骤都是转载 2016-03-25 18:46:44 · 1265 阅读 · 0 评论 -
使用maven构建hadoop2.6的eclipse源码
一.工具准备1.maven bin包,题主这里是apache-maven-3.3.3-bin.zip(官网自行查找)2.jdk,题主这里是jdk1.7..(小版本忽略)3.protoc,题主这里是protobuf-2.5.0.tar.gz 和 protoc-2.5.0-win32.zip 两个包4.hadoop源码,题主这里是hadoop-2.6.0-src.tar.gz二原创 2016-11-11 18:14:39 · 1246 阅读 · 0 评论 -
window7_X64位上配置eclipse连接hadoop
一:eclipse上hadoop插件的配置1.首先下载eclipse上支持hadoop的插件:hadoop-eclipse-plugin-2.6.0(这里我的hadoop版本是2.6)2.将该插件放到eclipse的插件目录,也就是plugins目录下3.重启eclipse,点击Windows-->Preferrence-->hadoop map/reduce, Brower 选择原创 2016-09-02 16:32:16 · 405 阅读 · 0 评论 -
datanode未启动错误记录
(1)当namenode节点format后,重新生成新的clusterid,但datanode的clusterid没有变,导致不一致,启动不了。解决:根据错误日志给出的路径,修改datanode里VERSION文件的clusterID 与namenode里的一致,再重新启动,即可成功。原创 2016-11-16 16:11:56 · 540 阅读 · 0 评论 -
Hadoop基于文件的数据结构及实例
基于文件的数据结构两种文件格式: 1、SequenceFile 2、MapFileSequenceFile1、SequenceFile文件是Hadoop用来存储二进制形式的对而设计的一种平面文件(Flat File)。2、可以把SequenceFile当做一个容器,把所有文件打包到SequenceFile类中可以高效的对小文件进行存储和处理。3、SequenceFi转载 2016-10-18 14:19:44 · 327 阅读 · 0 评论 -
hive1.1.0安装与配置(远程mysql)
以下操作在hdpsrc3 节点上操作一,下载安装包1,下载hive http://mirrors.hust.edu.cn/apache/ 得到apache-hive-1.1.0.tar.gz ,放到该目录下 /home/hdpsrc/ 2,下载mysql http://dev.mysql.com/downloads/mysql/5.5.html#downloads 得转载 2016-01-20 16:32:08 · 1271 阅读 · 0 评论 -
Hadoop学习路线图
按照这个路线图来学习即可。 1、M. Tim Jones的三篇文章: 用Hadoop进行分布式数据处理第1部分(入门):http://www.ibm.com/developerworks/cn/linux/l-hadoop-1/index.html 用Hadoop进行分布式数据处理第2部分(进阶):http://www.ibm.com/developerworks/c转载 2015-11-24 16:47:22 · 337 阅读 · 0 评论 -
hadoop各个版本的区别小解
做个mark,以后有空再详细写写0.20.x是历史稳定版0.23.x是根据0.20.x的稳定版引入了federation和yarn,但缺少NN和HA1.0.x是当前稳定版,但和0.20.x系列差不多,只不过有些优化改进1.1.x是beta版2.0.x 现在是alpha版,有yarn和federation的引入这点是和0.23.x是一样,且有NN和HA,但是它是基于1.x的稳定版转载 2015-11-23 14:19:52 · 1330 阅读 · 0 评论 -
eclipse上hadoop插件的安装和配置
eclipse的配置1.解压缩eclipse2.在usr/local/bin 下建立软链接 ln -s /usr/eclipse/eclipse 然后终端直接输入eclipse即可启动3.将hadoop的插件安装好,重新启动eclipse (http://blog.csdn.net/ggz631047367/article/details/42497557)4,hadoo转载 2015-11-24 10:16:50 · 605 阅读 · 0 评论