皮皮王的专栏

本博客只是个人笔记,非正常实践时间,不对任何人负责,水平有限,只供参考,Nifi大师群:492666008...

datanode未启动错误记录

(1)当namenode节点format后,重新生成新的clusterid,但datanode的clusterid没有变,导致不一致,启动不了。 解决:根据错误日志给出的路径,修改datanode里VERSION文件的clusterID 与namenode里的一致,再重新启动,即可成功。

2016-11-16 16:11:56

阅读数 397

评论数 0

使用maven构建hadoop2.6的eclipse源码

一.工具准备 1.maven bin包,题主这里是apache-maven-3.3.3-bin.zip(官网自行查找) 2.jdk,题主这里是jdk1.7..(小版本忽略) 3.protoc,题主这里是protobuf-2.5.0.tar.gz 和 protoc-2.5.0-win32.zip 两...

2016-11-11 18:14:39

阅读数 1029

评论数 0

Hadoop基于文件的数据结构及实例

基于文件的数据结构 两种文件格式: 1、SequenceFile 2、MapFile SequenceFile 1、SequenceFile文件是Hadoop用来存储二进制形式的对而设计的一种平面文件(Flat File)。 2、可以把SequenceFile当做一个容器,把所...

2016-10-18 14:19:44

阅读数 177

评论数 0

window7_X64位上配置eclipse连接hadoop

一:eclipse上hadoop插件的配置 1.首先下载eclipse上支持hadoop的插件:hadoop-eclipse-plugin-2.6.0(这里我的hadoop版本是2.6) 2.将该插件放到eclipse的插件目录,也就是plugins目录下 3.重启eclipse,点击Windo...

2016-09-02 16:32:16

阅读数 324

评论数 0

hadoop2.6.0全分布实现

本文章在转载的基础上,实践的时候做了一些文档的完善 环境:centos 6.5 + hadoop2.6 虚拟机:(vmware fusion 7.0.0) 虚拟机hostname      /    IP地址 master / 192.168.187.102 slave01 / 192.168....

2016-03-25 18:46:44

阅读数 1144

评论数 0

hive1.1.0安装与配置(远程mysql)

以下操作在hdpsrc3 节点上操作 一,下载安装包 1,下载hive http://mirrors.hust.edu.cn/apache/   得到apache-hive-1.1.0.tar.gz  ,放到该目录下 /home/hdpsrc/  2,下载mysql   http://dev...

2016-01-20 16:32:08

阅读数 1084

评论数 0

Hadoop学习路线图

按照这个路线图来学习即可。     1、M. Tim Jones的三篇文章:     用Hadoop进行分布式数据处理第1部分(入门):http://www.ibm.com/developerworks/cn/linux/l-hadoop-1/index.html     用Hadoop进行...

2015-11-24 16:47:22

阅读数 261

评论数 0

eclipse上hadoop插件的安装和配置

eclipse的配置 1.解压缩eclipse 2.在usr/local/bin  下建立软链接 ln -s /usr/eclipse/eclipse   然后终端直接输入eclipse即可启动 3.将hadoop的插件安装好,重新启动eclipse   (http://blog.csdn.net...

2015-11-24 10:16:50

阅读数 495

评论数 0

hadoop各个版本的区别小解

做个mark,以后有空再详细写写 0.20.x是历史稳定版 0.23.x是根据0.20.x的稳定版引入了federation和yarn,但缺少NN和HA 1.0.x是当前稳定版,但和0.20.x系列差不多,只不过有些优化改进 1.1.x是beta版 2.0.x 现在是alpha版,有ya...

2015-11-23 14:19:52

阅读数 888

评论数 0

vmvare上hadoop2.6的伪分布环境搭建

1.cenos6.5的VMWare版本安装,vmware tools安装,http://jingyan.baidu.com/article/da1091fb3e618a027849d683.html 2.hadoop 伪分布配置 (注意俩片的参考要结合的看,有些内容不一定都对,需要相互参考) h...

2015-11-17 10:11:38

阅读数 364

评论数 0

提示
确定要删除当前文章?
取消 删除