Hive
hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
司小幽
知行合一,学而思。
展开
-
《Sqoop将Oracle数据导入至Hive中界面无错却依旧没有数据导入》
一、生产环境Oracle:11g R2版本Sqoop:1.4.6版本Hive:1.1.1版本(利用MySQL作为MetaStore)Hadoop:2.6.3版本(其中Sqoop、Hive、Hadoop均是搭建在Centos6.6 64位上的)远程登录软件:Xshell 5二、需求需要将Oracle中的多张表通过Sqoop导入至Hive中,Oracle在远程服原创 2016-08-16 21:49:59 · 6192 阅读 · 0 评论 -
通过Hive及其Udf函数进行Nginx日志分析
需求nginx日志格式: '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; (暂且不将remoteaddr与remote_addr与remote_u原创 2017-08-10 13:09:23 · 631 阅读 · 0 评论 -
关于阿里云上Hive的一次Debug经历
BugShell层面: 日志层面(hive的日志默认在/tmp/{username}/hive.log) webUI层面 Debug对于日志所报的错误,网上统一的解决方案如下: hive 部署需要注意的几点以及Version information not found 错误解决办法 即在hive-site.xml中将hive.metastore.schema.v...原创 2018-03-18 15:13:15 · 792 阅读 · 0 评论