![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop+hbase+hive
文章平均质量分 86
xiongyuefei
这个作者很懒,什么都没留下…
展开
-
How to load data into Hive
How to load data into Hive------------------------In order to load data into Hive, we need to tell Hive the format of the datathrough "CREATE TABLE" statement:FileFormat: the data has to b...原创 2011-12-20 10:27:19 · 84 阅读 · 0 评论 -
Centos5.6下安装Hadoop完全分布式模式
实验环境 系统 : centos 5.6 JDK : jdk-6u26-linux-i586-rpm.bin 账号 : hadoop 目录 : /usr/local/hadoop 主机名 :master slave1 slave2 实验目的 组建三台机器的群集 master: 部署namecode,JobTracke...原创 2012-02-09 17:29:12 · 96 阅读 · 0 评论 -
Hadoop的基准测试工具
一、背景由于以前没有细看hadoop提供的测试工具,只是在关注hadoop本身的内容,所以很多的性能测试都忽略了。最近花了一周的时间准备做个性能测试,但是都是采用自己的方法得出的抽象值。今天看淘宝的博客,提到hadoop自带的测试工具,遂试了一把,记录一下,供以后参考。二、使用我做基准测试主要是用了hadoop-0.20.2-test.jar这个工具jar包。主要是做了I/O的测试...原创 2012-02-11 10:27:51 · 131 阅读 · 0 评论 -
批量加载2W多个就越来越慢,只能重启thirt
<!-- [if gte mso 9]><xml><w:WordDocument><w:BrowserLevel>MicrosoftInternetExplorer4</w:BrowserLevel><w:DisplayHorizontalDrawingGridEvery>0</w:DisplayHorizontalDr...2012-03-06 11:27:54 · 83 阅读 · 0 评论 -
Hadoop JAVA 开发说明
作为Hadoop程序员,他要做的事情就是:1、定义Mapper,处理输入的Key-Value对,输出中间结果。2、定义Reducer,可选,对中间结果进行规约,输出最终结果。3、定义InputFormat和OutputFormat,可选,InputFormat将每行输入文件的内容转换为Java类供Mapper函数使用,不定义时默认为String。4、定义main函数,在...原创 2012-03-14 17:50:23 · 101 阅读 · 0 评论 -
Hadoop中提供了balancer的机制,解决我的hive统计group问题
如果是select * from saleslog where `date`='2012-02-29' limit 5;这句是可以吐出五条数据的。但是如下却出错了。。hive> select goods_name,count(1) from saleslog where `date`='2012-02-29' group by goods_name;Total MapReduce...原创 2012-03-26 17:16:59 · 194 阅读 · 0 评论 -
2013-06-16 10:25 DNSbed绿色免费DNS解析系统介绍
在互联网时代,每个人都拥有自己的网站和域名,不是什么稀奇事。域名系统(DNS)是互联网基础架构中最核心的组件,它的稳定性,直接关系到每一个网站运营稳定性。那么,您是否还在为寻找稳定的DNS系统而发愁?您用的注册商的DNS系统,是不是有这样那样的问题?不稳定、解析生效时间长、操作方式复杂、语言不符合习惯、界面不友好,这些都给您带来额外的麻烦。那么,请使用云端DNS系统DNSbed...2013-06-16 10:28:02 · 104 阅读 · 0 评论 -
DNSbed改版说明
由于近期大量用户滥用DNSbed,导致DNS解析系统持续遭遇大流量的DDoS攻击。我们已多次更换服务器,并且购买了防火墙服务,但是恶意的攻击仍然经常发生,严重影响正常用户的服务。鉴于此,我们决定暂停免费用户使用DNS解析服务。之前已经注册的用户,仍可继续使用,不会受到影响。新用户如果想使用DNSbed,请成为我们的VIP用户。VIP有如下好处: 无限域名、无限记录...2013-06-16 10:33:06 · 108 阅读 · 0 评论 -
利用Sqoop将数据从数据库导入到HDFS
基本使用如下面这个shell脚本:#Oracle的连接字符串,其中包含了Oracle的地址,SID,和端口号CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1521:DWRAC2#使用的用户名ORACLENAME=kkaa#使用的密码ORACLEPASSWORD=kkaa123#需要从Oracle中导入的表名oralceTableName=tt#需要从...原创 2013-07-12 17:34:47 · 83 阅读 · 0 评论 -
Centos5下安装hadoop-伪分布式模式
hadoop安装 测试环境 centos 5.6 sunjava1.6.0_26 - 安装java 官方文档写最好是sun jdk 如果是opengdk的请注意。 #chmod u+x jdk-6u26-linux-i586-rpm.bin #./jdk-6u26-linux-i586-rpm.bin #java -version (查看安装信息)...2012-02-09 17:27:57 · 70 阅读 · 0 评论 -
RedHat linux下安装hadoop 0.20.2, 并在windows下远程连接此hadoop,开发调试
1、hadoop 在 redhat linux下的安装过程 网上有很多讲授在windows下通过Cygwin安装hadoop的,笔者认为hadoop原始设计就是在linux下安装使用的,在windows下通过Cygwin安装也无非是模拟linux环境再在这个模拟的环境上装hadoop,既然要学hadoop就真枪实弹的在linux下安装来学习,但是要搞一台真正的...原创 2012-02-09 16:01:44 · 95 阅读 · 0 评论 -
windows下玩infobright记录点滴
http://www.infobright.org/Download/ICE下载 windows版安装 创建表:CREATE TABLE `game_test` ( `agent_name` VARCHAR(20) NOT NULL, `server_name` VARCHAR(20) NOT NULL, `player_id` VARCHAR(50) NOT N...2012-05-28 14:30:23 · 83 阅读 · 0 评论 -
hive/hbase+thrift安装教程
1安装thrift安裝需要使用到的软件:我用的是thrift-0.6.0 yum install libboost-dev libevent-dev python-dev automake pkg-config libtool flex bison g++./configure make && make instal...原创 2012-01-14 17:58:08 · 138 阅读 · 0 评论 -
安装LNMP+hadoop+hive+thrift
#卸载完httpdyum -y remove httpd#增加Yum 163.com 源wget http://mirrors.163.com/.help/CentOS-Base-163.repo -O /etc/yum.repos.d/CentOS-Base-163.repoyum makecache#安装依赖库yum -y install vim* rsync tel...原创 2012-05-02 14:13:07 · 111 阅读 · 0 评论 -
Hive用户自定义函数
Hive用户自定义函数https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-DateFunctions <!-- [if gte mso 9]><xml><w:WordDocument><w:BrowserLevel>Mi...原创 2012-05-02 14:13:31 · 102 阅读 · 0 评论 -
hive元数据存储在mysql 字符集utf8 修改
<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://IP:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8</value> <...2012-05-10 21:10:34 · 406 阅读 · 0 评论 -
hadoop上运行java程序
1,分词统计import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.had...原创 2012-05-14 17:39:38 · 235 阅读 · 0 评论 -
php开发Hive Web查询
$GLOBALS['THRIFT_ROOT'] = '/data/center_a0001/www/libs/classes/Thrift/'; require_once $GLOBALS['THRIFT_ROOT'] . 'packages/hive_service/ThriftHive.php'; require_once $GLOBALS['THRIFT_ROOT'] . 't...原创 2012-05-19 12:35:10 · 133 阅读 · 0 评论 -
留图做个纪念吧,hive执行同一个hql的问题,原来是这样解决的!
请大家先查看图片附件,观摩一下, 经过仔细检查,才发现是时区不一致,有朋友解答:fromUnixTime用到了SimpleDateFormat SimpleDateFormat里面用到了Calendar Calendar用的是DefaultTimeZone 在他的启发下,我对各个机器进行DefaultTimeZone检查,发现还真有不一样的地方:/etc/...2012-05-21 16:14:49 · 79 阅读 · 0 评论 -
RCFile怎么搞压缩..
先修改配置,可以在~/.hiverc下加下:SET hive.exec.compress.output=true;SET mapred.output.compress=true;SET mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;要把开关打开,设置好压缩的格式,再inset sele...2012-05-22 17:29:02 · 208 阅读 · 0 评论 -
手动安装Hadoop Cloudera CDH4.2版本
此文由本人调试整理通过,转载请注明出处,谢谢!目录第1章 概要说明41.1 Hadoop是什么?41.2 为什么选择CDH版本?41.3 集群配置环境41.4 网络结构图5第2章 安装hadoop环境62.1 准备安装包62.2 默认用户组root:root62.3 卸载自带的jdk62.4 安装和配置jdk环境62.5 配置/etc/host...2013-07-26 17:01:00 · 151 阅读 · 0 评论