Hadoop
箫声若紫烟
独善其身 兼爱天下
展开
-
本地编译Hadoop2.7.1源码总结和问题解决
分享一下编译的过程、遇到的问题以及相应的解决办法,以供接下来学习的人查阅。原创 2015-12-11 22:26:08 · 20271 阅读 · 3 评论 -
Hive远程模式安装
本文使用远程模式安装Hive,将元数据存储在远程的oracle数据库中(MySQL也可以)。原创 2015-12-25 14:06:36 · 673 阅读 · 0 评论 -
异常解决:util.NativeCodeLoader: Unable to load native-hadoop library for your platform
刚装好hadoop的时候,每次输入命令运行都会出现: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable原创 2015-12-16 10:24:43 · 80845 阅读 · 5 评论 -
Hadoop执行jar文件流程分析
利用./bin/hadoop脚本执行jar文件是执行Hadoop自带测试包hadoop-test-version.jar和hadoop-example-version.jar的标准方法,当然用户开发的程序也需要用这种方法在hadoop中执行。本文以执行pi计算方法为例,详细分析Hadoop执行jar文件的流程。所用到的命令例子如下: ./bin/hadoopjar hadoop-examples转载 2015-12-21 14:59:34 · 1428 阅读 · 0 评论 -
Hadoop2.7.1集群安装
先说一下自己搭建的环境,用虚拟机搭建的两个节点,一个Master作为主节点,一个Node作为从节点,具体信息如下表。 机器名称 IP 操作系统 Master 10.0.0.100原创 2015-12-01 21:06:57 · 762 阅读 · 0 评论 -
Hadoop2.7.1运行wordcount
下面在实验环境下运行一个系统自带的小例子wordcount,熟悉下Hadoop的文件操作。启动集群1、在主节点和从节点上都格式化namenode首先在从节点Node上执行格式化: 当出现successfully formatted时,表示格式化成功 主节点Master上同原创 2015-12-02 11:06:55 · 2303 阅读 · 0 评论 -
异常解决:Hadoop启动出现ssh无法解析主机名等错误提示
先说一下刚搭建运行时报的错误:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your plat原创 2015-12-01 12:03:44 · 9948 阅读 · 0 评论 -
异常解决:java.net.ConnectException: Call To Master/127.0.0.1:9000 failed on connection exception
启动hadoop时,datanode不出现,查看日志时出现这条信息:java.net.ConnectException: Call From Master/127.0.0.1 to Master:9000 failed on connection exception: java.net.ConnectException: 拒绝连接; 解决问题:1、端口被占用; 换其他端口,我这里不是这个原因。原创 2015-12-01 21:31:51 · 25839 阅读 · 3 评论 -
异常解决:Error contacting service. It is probably not running.
安装zookeeper的时候遇到这个问题,google了很多,但是都不是我遇到的。我安装的版本是zookeeper3.4.7原创 2015-12-29 13:28:26 · 12880 阅读 · 0 评论 -
用Eclipse搭建Hadoop2.7.1开发环境
安装之前下载所需软件: eclipse:http://www.eclipse.org/downloads/ jre下载:http://www.java.com/en/download/manual.jsp Hadoop2.7.1插件下载:http://download.csdn.net/detail/y原创 2015-12-07 17:40:13 · 13326 阅读 · 1 评论