![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
sjsky_007
这个作者很懒,什么都没留下…
展开
-
Hadoop:could only be replicated to 0 nodes, instead of 1
blog迁移至:http://www.micmiu.com 在Hadoop的环境搭建过程中,常常会遇到类似这样的错误信息提示:“could only be replicated to 0 nodes, instead of 1”,产生这样的错误原因有多种,这里列举出以下四种常用的解决方法以供参考:确保master(namenode) 、sl...2011-07-16 09:21:26 · 98 阅读 · 0 评论 -
HBase安装配置之单机模式
HBase安装模式有三种:单机模式、分布式(伪分布式和完全分布式)。默认的安装模式就是单机模式 ,在单机模式中,HBase使用本地文件系统而不是HDFS ,所有的服务和zooKeeper都运作在一个JVM中。本教程介绍了HBase单机安装的方法,并演示:启动HBase、通过shell创建表、插入数据、查询数据、删除表,最后停止HBase的过程。环境说明安装配置详见:http://...原创 2014-03-09 22:51:08 · 222 阅读 · 0 评论 -
HBase安装配置之伪分布式模式
HBase安装模式有三种:单机模式、分布式(伪分布式和完全分布式)。本教程介绍了HBase的伪分布式模式安装配置的过程,伪分布式模式是把进程运行在一台机器上,但不是同一个JVM(单机模式),分布式模式的安装配置需要依赖于HDFS。基础环境安装配置详见:http://www.micmiu.com/bigdata/hbase/hbase-setup-pseudo-distribute...原创 2014-03-10 17:26:51 · 191 阅读 · 0 评论 -
HBase安装配置之完全分布式模式
HBase安装模式有三种:单机模式、分布式(伪分布式和完全分布式)。本教程介绍了HBase的完全分布式模式安装配置的过程,分布式模式均需要依赖于HDFS。基础环境安装配置详见:http://www.micmiu.com/bigdata/hbase/hbase-setup-full-distributed/ ...原创 2014-03-10 17:28:47 · 144 阅读 · 0 评论 -
HiveException:Not a host:port pair: PBUF
HBase和Hive整合后,在Hive shell中执行建表语句时错误信息如下: HiveException:Not a host:port pair: PBUF 详见:http://www.micmiu.com/bigdata/hive/hive-exception-not-a-host-port-parir-pbuf/...原创 2014-04-09 16:48:05 · 165 阅读 · 0 评论 -
HiveException:Not a host:port pair: PBUF
HBase和Hive整合后,在Hive shell中执行建表语句时错误信息如下: HiveException:Not a host:port pair: PBUF 详见:http://www.micmiu.com/bigdata/hive/hive-exception-not-a-host-port-parir-pbuf/ ...原创 2014-04-09 16:49:31 · 102 阅读 · 0 评论 -
Hive和HBase整合
本文主要描述Hive和HBase 环境整合配置的详细过程:基本环境整合配置测试验证 详见:http://www.micmiu.com/bigdata/hive/hive-hbase-integration/原创 2014-04-09 16:50:21 · 92 阅读 · 0 评论 -
Sqoop安装配置及演示
Sqoop是一个用来将Hadoop(Hive、HBase)和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。Sqoop目前已经是Apache的顶级项目了,目前版本是1.4.4 和 Sqoop2 1.99.3,本文以1.4.4的版本为例讲解基本...原创 2014-04-09 16:51:18 · 276 阅读 · 0 评论 -
ERROR tool.ImportTool: Imported Failed: Attempted to generate class with no colu
Sqoop 把数据从Oracle中迁移到Hive中时发生错误: ERROR tool.ImportTool: Imported Failed: Attempted to generate class with no columns! 详见:http://www.micmiu.com/bigdata/sqoop/sqoop-error-imported-failed-with-no...原创 2014-04-14 23:35:01 · 221 阅读 · 0 评论 -
java.net.ConnectException: to 0.0.0.0:10020 failed on connection exception
在DataNode节点中的Hive CLI中执行 select count(*) from table_name 查询时报错:java.io.IOException: java.net.ConnectException: Call From Slave7.Hadoop/192.168.8.207 to 0.0.0.0:10020 failed on connection exception:...原创 2014-04-14 23:36:17 · 192 阅读 · 0 评论 -
maven编译Spark源码
Spark 源码除了用 sbt/sbt assembly 编译,也可用Maven进行编译,具体步骤如下: 详见:http://www.micmiu.com/bigdata/spark/spark-building-with-maven/原创 2014-04-14 23:37:23 · 116 阅读 · 0 评论 -
Hadoop2.x eclipse plugin插件编译安装配置
本文主要讲解如何编译安装配置 Hadoop2.x eclipse plugin插件的详细过程:环境参数编译过程安装配置详见:http://www.micmiu.com/bigdata/hadoop/hadoop2-x-eclipse-plugin-build-install/...原创 2014-04-22 14:18:57 · 103 阅读 · 0 评论 -
eclipse中开发Hadoop2.x的Map/Reduce项目
本文演示如何在Eclipse中开发一个Map/Reduce项目:1、环境说明Hadoop2.2.0Eclipse Juno SR2详见:http://www.micmiu.com/bigdata/hadoop/hadoop2x-eclipse-mapreduce-demo/ ...原创 2014-04-22 14:20:05 · 145 阅读 · 0 评论 -
Hive自定义分隔符InputFormat
Hive默认创建的表字段分隔符为:\001(ctrl-A),也可以通过 ROW FORMAT DELIMITED FIELDS TERMINATED BY 指定其他字符,但是该语法只支持单个字符,如果你的分隔符是多个字符,则需要你自定义InputFormat来实现,本文就以简单的示例演示多个字符作为分隔符的实现。[一]、开发环境Hadoop 2.2.0Hive 0.12.0Ja...原创 2014-02-24 17:34:59 · 447 阅读 · 0 评论 -
Hive教程之DML数据导入导出
文章基本目录结构:数据导入导入本地文件导入hdfs文件数据导出导出到新表导出到本地文件导出到hdfs文件本文的测试基于Hadoop 2.2.0 + hive 0.12.0 详见:http://www.micmiu.com/opensource/hadoop/hive-dml-load-insert/ ...原创 2014-02-20 17:26:34 · 109 阅读 · 0 评论 -
Hadoop初试
blog迁移至 :http://www.micmiu.com [size=medium]Hadoop一个分布式系统基础架构,是Apache基金下的一个子项目。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有...2011-07-16 12:53:50 · 96 阅读 · 0 评论 -
Hadoop分布式时远程Datanode无法启动的解决
blog迁移至 :http://www.micmiu.com [color=blue][size=medium]问题的基本现象:[/size][/color]在测试Hadoop的分布式环境搭建时,在namenode启动时信息如下:[quote][michael@shnap hadoop]$ [color=blue]bin/start-all.sh [/color]star...2011-07-17 07:30:17 · 204 阅读 · 0 评论 -
Unable to load realm info from SCDynamicStore
我的运行环境:Mac OSX 10.9.1Hadoop 2.2.0hadoop启动日志里异常信息: Unable to load realm info from SCDynamicStore搜索后发现很早就有人提交给Hadoop了:https://issues.apache.org/jira/browse/HADOOP-7489 ,这个好像解决的方法不是很全面正确的解决办...原创 2014-01-17 14:14:16 · 78 阅读 · 0 评论 -
Hadoop2.2.0源码编译
基本环境参数:Mac OSX 10.9.1Maven 3.0.4Java 1.6.0_65Hadoop 2.2.0源码编译的基本步骤: 详见:http://www.micmiu.com/opensource/hadoop/hadoop-build-source-2-2-0/ ...原创 2014-01-17 14:15:50 · 87 阅读 · 0 评论 -
Hadoop 2.x build native library on Mac os x
查阅有关官方介绍 http://wiki.apache.org/hadoop/HowToContribute 中有说明:Hadoop本地库只支持*nix平台,已经广泛使用在GNU/Linux平台上,但是不支持 Cygwin 和 Mac OS X 。搜索后发现已经有人给出了Mac OSX 系统下编译生成本地库的patch,下面详细介绍在Mac OSX 平台下编译Hadoop本地库的方法。[...原创 2014-01-19 20:30:14 · 83 阅读 · 0 评论 -
Unable to load native-hadoop library for your platform…
从官方下载的Hadoop 2.2.0发布包,安装配置启动后在日志信息中看到如下告警:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable这是因为:详见:http://w...原创 2014-01-19 20:30:42 · 87 阅读 · 0 评论 -
hadoop 2.2.0 单节点安装和测试
本文是详细记录Hadoop 2.2.0 在Mac OSX系统下单节点安装配置启动的详细步骤,并且演示运行一个简单的job。目录结构如下:基础环境配置Hadoop安装配置启动及演示详见:http://www.micmiu.com/opensource/hadoop/hadoop2x-single-node-setup/ ...原创 2014-01-19 20:45:05 · 142 阅读 · 0 评论 -
hadoop 2.2.0 集群模式安装配置和测试
本文详细记录Hadoop 2.2.0 集群安装配置的步骤,并运行演示一个简单的job。基本目录结构如下:环境准备Hadoop安装配置启动及演示详见:http://www.micmiu.com/opensource/hadoop/hadoop2x-cluster-setup/ ...原创 2014-01-22 16:52:02 · 80 阅读 · 0 评论 -
Hive安装配置详解
本文主要是在Hadoop单机模式中演示Hive默认(嵌入式derby 模式)安装配置过程,目录结构如下:基础环境Hive安装配置启动及演示 详见:http://www.micmiu.com/opensource/hadoop/hive-default-setup/ ...原创 2014-02-11 17:20:17 · 152 阅读 · 0 评论 -
Hive教程之DDL+DML
在完成 Hive安装配置 后自然而然就是它的基本应用,本文就基本操作进行一些演示:DDL操作DML操作详见:http://www.micmiu.com/opensource/hadoop/hive-tutorial-ddl-dml/ ...原创 2014-02-11 17:21:15 · 201 阅读 · 0 评论 -
Hive教程之metastore的三种模式
Hive中metastore(元数据存储)的三种方式:内嵌Derby方式Local方式Remote方式详见:http://www.micmiu.com/opensource/hadoop/hive-metastore-config/原创 2014-02-20 17:24:03 · 144 阅读 · 0 评论 -
HBase基于Hadoop2的源码编译
本文以HBase0.98.0 为例,演示编译生成适用于Hadoop2.x 版本软件包的过程。基本环境参数:Mac OSX 10.9.1Maven 3.0.4Java 1.6.0_65Hadoop 2.2.0HBase 0.98.0源码编译的基本步骤: 详见:http://www.micmiu.com/opensource/hadoop/hbase-b...原创 2014-02-20 17:24:51 · 150 阅读 · 0 评论 -
Hadoop2.x在Ubuntu系统中编译源码
本文主要记录Hadoop2.x在Ubuntu 12.04下编译源码的主要步骤和注意点:[一]、基础环境Ubuntu 12.04 LTS 64 位Hadoop2.2.0Java version: 1.7.0_55Apache Maven 3.2.1[二]、软件配置 详见:http://www.micmiu.com/bigdata/hadoop/hadoop-2...原创 2014-04-22 14:23:35 · 181 阅读 · 0 评论