- 博客(276)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Hadoop2.x在Ubuntu系统中编译源码
本文主要记录Hadoop2.x在Ubuntu 12.04下编译源码的主要步骤和注意点：［一］、基础环境Ubuntu 12.04 LTS 64 位Hadoop2.2.0Java version: 1.7.0_55Apache Maven 3.2.1［二］、软件配置 详见：http://www.micmiu.com/bigdata/hadoop/hadoop-2...
2014-04-22 14:23:35
198
原创 Ubuntu设置默认jdk
详见：http://www.micmiu.com/os/linux/ubuntu-config-default-jdk/
2014-04-22 14:22:48
761
原创 Ubuntu12.04中Eclipse安装svn插件问题
一般Ubuntu12.04中Eclipse安装svn插件经常碰到两种问题：Failed to load JavaHL Library.ubuntu Incompatible JavaHL library loaded. 1.8.x or later required以我的环境为例： 详见：http://www.micmiu.com/os/linux/ubuntu-ecl...
2014-04-22 14:22:07
227
原创 eclipse中开发Hadoop2.x的Map/Reduce项目
本文演示如何在Eclipse中开发一个Map/Reduce项目：1、环境说明Hadoop2.2.0Eclipse Juno SR2详见：http://www.micmiu.com/bigdata/hadoop/hadoop2x-eclipse-mapreduce-demo/ ...
2014-04-22 14:20:05
157
原创 Hadoop2.x eclipse plugin插件编译安装配置
本文主要讲解如何编译安装配置 Hadoop2.x eclipse plugin插件的详细过程：环境参数编译过程安装配置详见：http://www.micmiu.com/bigdata/hadoop/hadoop2-x-eclipse-plugin-build-install/...
2014-04-22 14:18:57
115
原创 maven编译Spark源码
Spark 源码除了用 sbt/sbt assembly 编译，也可用Maven进行编译，具体步骤如下： 详见：http://www.micmiu.com/bigdata/spark/spark-building-with-maven/
2014-04-14 23:37:23
137
原创 java.net.ConnectException: to 0.0.0.0:10020 failed on connection exception
在DataNode节点中的Hive CLI中执行 select count(*) from table_name 查询时报错：java.io.IOException: java.net.ConnectException: Call From Slave7.Hadoop/192.168.8.207 to 0.0.0.0:10020 failed on connection exception:...
2014-04-14 23:36:17
217
原创 ERROR tool.ImportTool: Imported Failed: Attempted to generate class with no colu
Sqoop 把数据从Oracle中迁移到Hive中时发生错误： ERROR tool.ImportTool: Imported Failed: Attempted to generate class with no columns! 详见：http://www.micmiu.com/bigdata/sqoop/sqoop-error-imported-failed-with-no...
2014-04-14 23:35:01
247
原创 Sqoop安装配置及演示
Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。Sqoop目前已经是Apache的顶级项目了，目前版本是1.4.4 和 Sqoop2 1.99.3，本文以1.4.4的版本为例讲解基本...
2014-04-09 16:51:18
299
原创 Hive和HBase整合
本文主要描述Hive和HBase 环境整合配置的详细过程：基本环境整合配置测试验证 详见：http://www.micmiu.com/bigdata/hive/hive-hbase-integration/
2014-04-09 16:50:21
104
原创 HiveException:Not a host:port pair: PBUF
HBase和Hive整合后，在Hive shell中执行建表语句时错误信息如下： HiveException:Not a host:port pair: PBUF 详见：http://www.micmiu.com/bigdata/hive/hive-exception-not-a-host-port-parir-pbuf/ ...
2014-04-09 16:49:31
126
原创 HiveException:Not a host:port pair: PBUF
HBase和Hive整合后，在Hive shell中执行建表语句时错误信息如下： HiveException:Not a host:port pair: PBUF 详见：http://www.micmiu.com/bigdata/hive/hive-exception-not-a-host-port-parir-pbuf/...
2014-04-09 16:48:05
189
原创 HBase安装配置之完全分布式模式
HBase安装模式有三种：单机模式、分布式（伪分布式和完全分布式）。本教程介绍了HBase的完全分布式模式安装配置的过程，分布式模式均需要依赖于HDFS。基础环境安装配置详见：http://www.micmiu.com/bigdata/hbase/hbase-setup-full-distributed/ ...
2014-03-10 17:28:47
155
原创 HBase安装配置之伪分布式模式
HBase安装模式有三种：单机模式、分布式（伪分布式和完全分布式）。本教程介绍了HBase的伪分布式模式安装配置的过程，伪分布式模式是把进程运行在一台机器上，但不是同一个JVM（单机模式），分布式模式的安装配置需要依赖于HDFS。基础环境安装配置详见：http://www.micmiu.com/bigdata/hbase/hbase-setup-pseudo-distribute...
2014-03-10 17:26:51
204
原创 github更新自己Fork的代码
github上有个功能叫fork，可以将别人的工程复制到自己账号下。这个功能很方便，但其有一个缺点是：当源项目更新后，你fork的分支并不会一起更新，需要自己手动去更新。以github用户名:micmiu ，fork 项目 sql-parser（原始地址https://github.com/FoundationDB/sql-parser）到自己账号下 https://github.co...
2014-03-09 22:52:32
152
原创 HBase安装配置之单机模式
HBase安装模式有三种：单机模式、分布式（伪分布式和完全分布式）。默认的安装模式就是单机模式 ，在单机模式中，HBase使用本地文件系统而不是HDFS ，所有的服务和zooKeeper都运作在一个JVM中。本教程介绍了HBase单机安装的方法，并演示：启动HBase、通过shell创建表、插入数据、查询数据、删除表，最后停止HBase的过程。环境说明安装配置详见：http://...
2014-03-09 22:51:08
237
原创 Hive自定义分隔符InputFormat
Hive默认创建的表字段分隔符为：\001(ctrl-A)，也可以通过 ROW FORMAT DELIMITED FIELDS TERMINATED BY 指定其他字符，但是该语法只支持单个字符，如果你的分隔符是多个字符，则需要你自定义InputFormat来实现，本文就以简单的示例演示多个字符作为分隔符的实现。[一]、开发环境Hadoop 2.2.0Hive 0.12.0Ja...
2014-02-24 17:34:59
458
原创 Hive教程之DML数据导入导出
文章基本目录结构：数据导入导入本地文件导入hdfs文件数据导出导出到新表导出到本地文件导出到hdfs文件本文的测试基于Hadoop 2.2.0 + hive 0.12.0 详见：http://www.micmiu.com/opensource/hadoop/hive-dml-load-insert/ ...
2014-02-20 17:26:34
129
原创 HBase基于Hadoop2的源码编译
本文以HBase0.98.0 为例，演示编译生成适用于Hadoop2.x 版本软件包的过程。基本环境参数：Mac OSX 10.9.1Maven 3.0.4Java 1.6.0_65Hadoop 2.2.0HBase 0.98.0源码编译的基本步骤： 详见：http://www.micmiu.com/opensource/hadoop/hbase-b...
2014-02-20 17:24:51
159
原创 Hive教程之metastore的三种模式
Hive中metastore（元数据存储）的三种方式：内嵌Derby方式Local方式Remote方式详见：http://www.micmiu.com/opensource/hadoop/hive-metastore-config/
2014-02-20 17:24:03
169
原创 Hive教程之DDL+DML
在完成 Hive安装配置 后自然而然就是它的基本应用，本文就基本操作进行一些演示：DDL操作DML操作详见：http://www.micmiu.com/opensource/hadoop/hive-tutorial-ddl-dml/ ...
2014-02-11 17:21:15
211
原创 Hive安装配置详解
本文主要是在Hadoop单机模式中演示Hive默认（嵌入式derby 模式）安装配置过程，目录结构如下：基础环境Hive安装配置启动及演示 详见：http://www.micmiu.com/opensource/hadoop/hive-default-setup/ ...
2014-02-11 17:20:17
161
原创 hadoop 2.2.0 集群模式安装配置和测试
本文详细记录Hadoop 2.2.0 集群安装配置的步骤，并运行演示一个简单的job。基本目录结构如下：环境准备Hadoop安装配置启动及演示详见：http://www.micmiu.com/opensource/hadoop/hadoop2x-cluster-setup/ ...
2014-01-22 16:52:02
86
原创 hadoop 2.2.0 单节点安装和测试
本文是详细记录Hadoop 2.2.0 在Mac OSX系统下单节点安装配置启动的详细步骤，并且演示运行一个简单的job。目录结构如下：基础环境配置Hadoop安装配置启动及演示详见：http://www.micmiu.com/opensource/hadoop/hadoop2x-single-node-setup/ ...
2014-01-19 20:45:05
171
原创 $JAVA_HOME环境变量在Mac OS X中设置的问题
系统版本：Mac OS X 10.9.1在~/.profile 中增加环境变量JAVA_HOME 设置: 详见：http://www.micmiu.com/lang/java/set-javahome-on-mac-os-x/
2014-01-19 20:31:10
253
原创 Unable to load native-hadoop library for your platform…
从官方下载的Hadoop 2.2.0发布包，安装配置启动后在日志信息中看到如下告警：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable这是因为：详见：http://w...
2014-01-19 20:30:42
100
原创 Hadoop 2.x build native library on Mac os x
查阅有关官方介绍 http://wiki.apache.org/hadoop/HowToContribute 中有说明：Hadoop本地库只支持*nix平台，已经广泛使用在GNU/Linux平台上，但是不支持 Cygwin 和 Mac OS X 。搜索后发现已经有人给出了Mac OSX 系统下编译生成本地库的patch，下面详细介绍在Mac OSX 平台下编译Hadoop本地库的方法。[...
2014-01-19 20:30:14
93
原创 Hadoop2.2.0源码编译
基本环境参数：Mac OSX 10.9.1Maven 3.0.4Java 1.6.0_65Hadoop 2.2.0源码编译的基本步骤： 详见：http://www.micmiu.com/opensource/hadoop/hadoop-build-source-2-2-0/ ...
2014-01-17 14:15:50
96
原创 Unable to load realm info from SCDynamicStore
我的运行环境：Mac OSX 10.9.1Hadoop 2.2.0hadoop启动日志里异常信息: Unable to load realm info from SCDynamicStore搜索后发现很早就有人提交给Hadoop了：https://issues.apache.org/jira/browse/HADOOP-7489 ，这个好像解决的方法不是很全面正确的解决办...
2014-01-17 14:14:16
91
原创 Sublime Text2 配置tab为4个空格
修改配置文件即可：详见：http://www.micmiu.com/software/common/sublime-text2-tab-space/
2014-01-17 14:13:04
107
原创 Nginx启动错误:error while loading shared libraries: libpcre.so.1
解决办法：1、首先确认已经安装好pcre 软件（nginx 依赖该软件）2、创建软连接 详见：http://www.micmiu.com/architecture/cluster/nginx-libpcre-so-1/
2014-01-17 14:10:20
143
原创 JBoss IIOP实现CORBA/IIOP访问EJB的示例
目录概述特性示例演示详见：http://www.micmiu.com/opensource/corba/corba-iiop-call-ejb/ -
2014-01-17 14:08:33
167
原创 JavaIDL开发CORBA实例演示
目录：概述开发步骤创建Java项目创建IDL文件创建服务单创建客户端测试本地调用NamingService命名服务实现远程调用详见：http://www.micmiu.com/opensource/corba/corba-javaidl-dev-demo/ ...
2013-10-25 15:51:38
219
原创 OpenORB开发CORBA的实例介绍
目录：概述开发步骤创建Java项目，配置Lib创建IDL文件创建服务单创建客户端测试本地调用NamingService命名服务实现远程调用 详见：http://www.micmiu.com/opensource/corba/corba-openorb-dev-demo/ ...
2013-10-25 15:50:18
310
原创 Eclipse+OpenORB+ORBStudio配置CORBA开发环境
目录准备工作整合配置[一]、准备工作JDK（本机版本是jdk1.6.6_65）Eclipse （本机版本 4.2 Juno）插件 ORBStudio777 （附件提供下载ORBStudio777.zip）CORBA开源产品：OpenORB （官网：http://sourceforge.net/projects/openorb/ ），需要下载 OpenORB-1...
2013-10-24 09:04:51
324
原创 Mac OSX下tree命令
find . -print | sed -e 's;[^/]*/;|____;g;s;____|; |;g' 详见： http://www.micmiu.com/os/mac/mac-osx-cmd-tree/
2013-10-24 09:02:55
122
原创 java读取控制台输入的几种方法
java读取控制台输入的几种方法：jdk1.4及之前用 new BufferedReader(new InputStreamReader(System.in))jdk5.0 增加了 java.util.Scanner类jdk6.0 增加了 java.io.Console类（但在IDE中获取console会失败）详见： http://www.micmiu.com/lang/j...
2013-10-24 09:01:01
495
原创 Groovy 脚本的多种运行方法
目录：groovyConsole 图形交互控制台groovysh shell命令交互通过IDE运行Groovy脚本用命令行执行Groovy脚本用Groovy创建Unix脚本 详见：http://www.micmiu.com/lang/groovy/groovy-running-ways/...
2013-10-24 08:59:51
317
原创 OSX系统中各种JDK的路径说明
不同厂商发布的JDK，在OSX下的安装路径是不同的。以我本机 Max OSX 10.8.5为例简单说明下各JDK的路径。 详见：http://www.micmiu.com/lang/java/jdk-osx-install-path/ ...
2013-10-15 08:50:17
120
Groovy 脚本的多种运行方法
目录：groovyConsole 图形交互控制台groovysh shell命令交互通过IDE运行Groovy脚本用命令行执行Groovy脚本用Groovy创建Unix脚本Groovy脚本是一些定义在文本文件中的语句和类。它和其他脚本语言的使用类似，它有多种方式可以运行。 详见：http://www.micmiu.com/lang/groovy/groovy-...
2013-10-15 08:49:14
247
动态增加行列以及表格_基于prototype
2010-03-31
xfire webservices源码
2010-03-30
nero 刻录ape的插件
2010-03-17
Struts html标签的孪生兄弟:htmlx
2010-03-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人