![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
iteye_14058
这个作者很懒,什么都没留下…
展开
-
HIVE配置手册
HIVE配置手册 [b]1)下载hive[/b] 目前最新版本是hive-0.6.0,但是不支持hadoop-0.21.0,所以需要安装hadoop-0.20.2或者以下版本 解压到每台服务器的/data/soft 解压[code="java"]root@master:/data/soft# tar zxvf hive-0.6.0.tar.gz[/code] 建立软连[code="jav...原创 2011-01-24 11:07:34 · 93 阅读 · 0 评论 -
Hive HBase 整合
hive hbase整合,要求比较多,1.hive的得是0.6.0(当前最新的版本) 2.hive本身要求hadoop的最高版本是hadoop-0.20.2 3.要求hbase的版本是0.20.3,其他版本需要重新编译hive_hbase-handler 但是新版的hbase(0.90)变动特别大,根本无法从编译。这点比较恶心,hbase目前升级比较快,当前是0.90(从0.20.6直接跳到...原创 2011-01-27 16:35:02 · 68 阅读 · 0 评论 -
hive处理日志,自定义inputformat
开放环境,hadoop-0.20.2,hive-0.6 1.日志分隔符 [code="xml"]2010-05-31 10:50:17|||61.132.4.82|||http://www.360buy.com/product/201185.html[/code] 分隔符是“ ||| ”,这是为了尽可能防止日志正文出现与分隔符相同的字符而导致数据混淆。 hive 的内部分隔符是“ \0...2011-02-16 13:47:35 · 265 阅读 · 0 评论 -
hive使用mysql保存metastore
Hive 将元数据存储在 RDBMS 中,有三种模式可以连接到数据库: 1)ingle User Mode: 此模式连接到一个 In-memory 的数据库 Derby,一般用于 Unit Test。 2)Multi User Mode:通过网络连接到一个数据库中,是最经常使用到的模式。 3)Remote Server Mode:用于非 Java 客户端访问元数据库,在服务器端启动一个 Me...2011-02-16 17:04:24 · 104 阅读 · 0 评论 -
hive自定义分隔符和处理Apache日志
[size=x-large]自定义分隔符[/size] 1.日志格式 [code="xml"] 2010-05-31 10:50:17|61.132.4.82|http://www.360buy.com/product/201185.html [/code] 分隔符是“ | ” 2.创建自定义分隔符的数据表 [code="java"]CREATE TABLE click_tes...原创 2011-02-17 14:47:04 · 105 阅读 · 0 评论 -
hive DDL
创建数据表 [code="java"]CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT c...原创 2011-03-25 21:26:39 · 74 阅读 · 0 评论 -
hive的权限控制
hive是没有库的概念的,但是我们通常是需要“库”这个东西存在。 1.不同日志,视为不同的“库”,其MetaStore在Mysql建立不同的数据库存放 2.每个“库”,对应一个用户,并且创建单独的conf目录 3.在单独的conf目录下,修改hive-default.xml文件,配置相应的db 4.启动单独的hiveserver实例,并监听不同的端口: [code="java"]HI...原创 2011-04-02 09:40:39 · 168 阅读 · 0 评论 -
保存hive的metastore
首先安装mysql,见: [url]http://running.iteye.com/blog/910277[/url] [b]修改字符集为latin1[/b] [b]13.修改my.cnf[/b] [code="xml"] [mysqld] port = 3306 socket = /tmp/mysql.sock datadir...原创 2013-11-28 16:45:52 · 146 阅读 · 0 评论