- 博客(15)
- 资源 (31)
- 收藏
- 关注
RSS订阅转载 hive的元数据存储在mysql后,报错的解决方法
hive的元数据存储在mysql后,报错的解决方法！ 最近，因为工作的需要，一直在研究hadoop系统。许多分析工作都将通过hive来解决，所以特将所碰到的问题和解决方案，陆续整理出来，既做为回顾又供需要的朋友参考！ 因为要实现多人开发Hive，所以需要将hive的元数据存储在mysql。配置完成后，配置之前hive中创建的数据表在show tables
2013-05-22 23:10:21
1001
转载 hive开发环境搭建体验
最近为了规范hadoop团队的开发流程，所以已经在Eclipse里进行相关的hive开发工作。但是目前在运行hive的时候，有几个问题需要注意下：第一个问题：直接运行CliDriver类报错，信息如下：WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apach
2013-05-22 14:26:39
991
转载 Hadoop : MapReduce中的Shuffle和Sort分析
转载自：http://cache.baidu.com/c?m=9f65cb4a8c8507ed4fece763104c90354501de2b3fdcda107cd6924a84642c1a0131a8ec302267558e9a61375ff21c41e9f7357731012ba3de95c81cd2facf68699f27453146c115468d4e&p=c949d11885cc42a8
2013-05-22 09:57:44
872
转载 关于HIVE的SELECT count(*) 优化
刚刚下载了一份HIVE的最新源码。印象最深的是HIVE将表的大小作为了元数据保存在了关系数据库中。譬如在老版本中执行如下的语句：from base insert overwrite table user select * ;你会发现日志的末尾会有 “999 ROWD LOADED INTO TABLE USER” 的字样代表有999条目记录保存在了user表
2013-05-17 16:00:42
8362
1
转载 GettingStarted EclipseSetup （官网资料：hive+eclipse设置）
After checking out the source code run the following command from the top-level directory: $ ant clean package eclipse-filesNow open up Eclipse and do the following:File->Import->Gene
2013-05-16 13:00:56
830
转载 maven setting 文件
<settings xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/settings-1.0.
2013-05-15 23:24:03
963
转载 Java操作Hbase进行建表、删表以及对数据进行增删改查，条件查询
1、搭建环境 新建JAVA项目，添加的包有: 有关Hadoop的hadoop-core-0.20.204.0.jar 有关Hbase的hbase-0.90.4.jar、hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所有jar包 2、主要程序 Java代码 package com.wujintao.hbas
2013-05-12 18:11:43
950
转载 使用Hive读取Hbase中的数据
原地址：http://victorzhzh.iteye.com/blog/972406第一步，启动hadoop，命令：./start-all.sh第二步，启动hive，命令：./hive --auxpath /home/dream-victor/hive-0.6.0/lib/hive_hbase-handler.jar,/home/dream-victor/hi
2013-05-12 01:11:40
1221
转载 手动安装cloudera cdh4.2 hadoop + hbase + hive（三）
本文主要记录手动安装cloudera Hive cdh4.2.0集群过程，环境设置及Hadoop、HBase安装过程见上篇文章。安装hivehive安装在desktop1上，注意hive默认是使用derby数据库保存元数据，这里替换为postgresql，下面会提到postgresql的安装说明，并且需要拷贝postgres的jdbc jar文件导hive的lib目录下。上
2013-05-12 00:13:24
3727
3
转载 手动安装cloudera cdh4.2 hadoop + hbase + hive（二）
安装HBaseHBase安装在desktop3、desktop4、desktop6、desktop7、desktop8机器上。上传文件 上传hbase-0.94.2-cdh4.2.0.zip到desktop3上，先在desktop3上修改好配置文件，在同步到其他机器上。hbase-site.xml[root@desktop3 conf]# pwd/opt/
2013-05-12 00:12:05
2492
1
转载 手动安装cloudera cdh4.2 hadoop + hbase + hive（一）
安装版本hadoop-2.0.0-cdh4.2.0hbase-0.94.2-cdh4.2.0hive-0.10.0-cdh4.2.0jdk1.6.0_38安装前说明安装目录为/opt检查hosts文件关闭防火墙设置时钟同步使用说明安装hadoop、hbase、hive成功之后启动方式为：启动dfs和mapreduce desktop1上执
2013-05-12 00:10:23
3703
3
转载 关于mapreduce 的 shuffle ，partition，combiner
之前在学习mapreduce 的过程中一直不能够完全准确的理解shuffle，partition，combiner的作用，其实简单来说：shuffle： 是描述着数据从map端传输到reduce端的过程，而且我们知道的是hadoop的集群环境中，大部分map task和reduce task是在不同的node上执行，主要的开销是网络开销和磁盘IO开销，因此shuffle的主要作用相当于是
2013-05-06 10:45:55
1208
转载 Ant 设置http代理
转自：http://my.oschina.net/hidennis/blog/55852Ant 设置http代理0人收藏此文章,我要收藏发表于5个月前(2012-05-02 15:58) , 已有121次阅读 共0个评论在编译Harmony的时候，经常需要去fetch依赖，但是服务器本身不能够上外网，因此只能通过代理的方式去下载这些依赖~
2013-05-03 16:43:02
1380
原创 hive使用小技巧-如何往Hive SQL中传入参数
很多SQL需要重复执行，可能是每天执行一次，而需要修改的只是SQL中的日期字段，这种情况下可以使用 参数代入使用的方式$ hive -d key1=value1 -d key2=value -d key3=value3 ...复制代码例子-1：hive -d shell_date_1='20120425' -d shell_date_
2013-05-02 14:10:46
13996
原创 设置root密码
在向大家详细介绍Linux mysql之前，首先让大家了解下Linux mysql，然后全面介绍Linux mysql，希望对大家有用。1. Linux mysql安装：$ yum install mysql-server2. Linux mysql修改root密码：$ mysqladmin -u root password your_new_passwd3. 启动
2013-05-02 10:44:41
618
Oracle知识库
2012-10-24
Java 优化编程
2012-08-07
Oracle调优心得
2012-08-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人