white__cat的专栏

原文地址引言      转眼间，Hadoop的stable版本已经升级到2.4.1了，社区的力量真是强大！3.0啥时候release呢？      今天做了个调研，尝鲜了一下2.4.1版本的分布式部署，包括NN HA（目前已经部署好了2.2.0的NN HA，ZK和ZKFC用现成的），顺便也结合官方文档 http://hadoop.apache.org/docs/r2.4.1/hadoo

一、环境：JDK：1.7.0_25Hadoop:1.1.2(伪分布式安装)HBase:0.94.9(伪分布式安装)二、问题：用Java客户端连接HBase时，报错：如下：13/07/24 09:08:02 INFO zookeeper.ZooKeeper: Initiating client connection, connectString=127.0.0.1:2181

hadoop版本：hadoop-0.20.2 http://apache.etoak.com//hadoop/common/hadoop-0.20.2/安装配置Hadoop请参考：http://booby325.iteye.com/admin/blogs/1309940HBase版本：Hbase-0.90.3 http://apache.etoak.com//hbase

import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apach

hadoop运行正常，hive-site.xml主要配置如下：property>  name>javax.jdo.option.ConnectionURLname>  value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=truevalue>property> proper

Hadoop+Hive+Mysql安装文档软件版本redhat enterprise server5.564Hadoop1.0.0Hive0.8.1Mysql5Jdk1.6

相比Java的MapReduce api，Pig为大型数据集的处理提供了更高层次的抽象，与MapReduce相比，Pig提供了更丰富的数据结构，一般都是多值和嵌套的数据结构。Pig还提供了一套更强大的数据变换操作，包括在MapReduce中被忽视的连接Join操作。 Hadoop版本：2.2.0 Pig版本：0.12.1 Pig介绍Pig包括两部分：

http://www.open-open.com/home/space-137896-do-blog-id-9174.html

http://www.linuxidc.com/Linux/2011-09/44092.htm

一、安装Eclipse    下载Eclipse，解压安装，例如安装到/usr/local，即/usr/local/eclipse    4.3.1版本下载地址：http://pan.baidu.com/s/1eQkpRgu二、在eclipse上安装hadoop插件    1、下载hadoop插件        下载地址：http://pan.baidu.c

https://github.com/winghc/hadoop2x-eclipse-plugin

今天在完成Hive的安装配置后，通过java客户端连接Hive进行操作时抛了一个异常：Exception in thread "main" java.sql.SQLException: Could not establish connection to hadoop0:10000/default: java.net.ConnectException: Connection refu

inkfish原创，请勿商业性质转载，转载请注明来源（http://blog.csdn.net/inkfish ）。　　Pig是Yahoo!捐献给Apache的一个项目，目前还在Apache孵化器（incubator）阶段，目前版本是v0.5.0。Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-like语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换

Hadoop集群安装　　首先我们统一一下定义，在这里所提到的Hadoop是指Hadoop Common，主要提供DFS（分布式文件存储）与Map/Reduce的核心功能。　　Hadoop在windows下还未经过很好的测试，所以笔者推荐大家在linux（cent os 5.X）下安装使用。　　准备安装Hadoop集群之前我们得先检验系统是否安装了如下的必备软件：ssh、rsync和Jd

利用ssh传输文件 在linux下一般用scp这个命令来通过ssh传输文件。 1、从服务器上下载文件scp username@servername:/path/filename 例如scp root@192.168.0.101:/var/www/test.txt  把192.168.0.101上的/var/www/test.txt 的文件下载到当前目

http://blog.csdn.net/happy08god/article/details/10006327

http://www.cnblogs.com/linjiqin/archive/2013/03/04/2943025.html默认情况下，Hive元数据保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的测试。为了支持多用户多会话，则需要一个独立的元数据库，我们使用 MySQL 作为元数据库，Hive 内部对 MySQL 提供了很好的支持，配置一个独立的元数据库需要增

最近又机会接触hadoop，顺便分享一下同事的记录一、主服务器设置1.创建用户#useradd hadoop2.设置密码#passwd hadoop3.切换hadoop登录#su - hadoop4.解压hadoop压缩包#tar zxvf hadoop-1.0.3.tar.gz5.设置目录权限#c

org.apache.hadoop.hbase.client.HTablePool$PooledHTable cannot be cast to org.apac代码：//1.create HTablePoolHTablePool hp=new HTablePool(con, 1000);//2.get HTable from

Apache Hive入门1Hive是Hadoop项目中的一个子项目，由FaceBook向Apache基金会贡献，其中TaoBao也是其中一位使用者+贡献者，Hive被视为 一个仓库工具，可以将结构化的数据文件映射为一张数据库表，并可以将sql语句转换为 MapReduce 任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapRed

转自：http://www.zypx.cn/technology/20100606132430320046.htmlHive 是什么在接触一个新的事物首先要回到的问题是：这是什么？这里引用 Hive wiki 上的介绍：Hive is a data warehouse infrastructure built on top of Hadoop. It provides tools

http://www.oschina.net/translate/nutch-tutorial?cmp

作为JAVA的初学者折腾了很久，试了代理服务器等方法，最终发现了这片文章，楼主总结的很不错！一、概述hive是一个基于hadoop的数据仓库基础设施, 提供数据的提取转换加载和查询, 不适于少数据量(比如几亿)的数据查询, 也不适于实时或者在线数据的查询, 是一个非实时的, 离线的数据查询工具. hive没有自己的文件格式, 只需要普通的文件格式或者用户自定义的格式就可以了.

http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503864.html