Hive
钻石大门
程序员
展开
-
Hive(四)函数(json_tuple和parse_url_tuple)/topN通用解法/Beeline连接
json_tuple创建一个只有一个string类型的字段来存放json数据的表,将下列类型数据load进表中:hive (d1_hive)> select * from rating_json limit 10;OKrating_json.json{"movie":"1193","rate":"5","time":"978300760","userid":"1"}{"movie...原创 2019-07-29 00:24:16 · 317 阅读 · 0 评论 -
Hive(五)复杂数据类型和分区表
复杂数据类型主要学习两方面:如何存/取数据arrayarray要求数据类型必须一致,下列是例子:[root@10-9-15-140 data]# cat hive_array.txtzhangsan beijing,shanghai,tianjin,hangzhoulisi changchu,chengdu,wuhan,beijing# 存数据hive (d1_hive)>...原创 2019-07-30 23:56:27 · 329 阅读 · 0 评论 -
Hive(六)生产上完成TopN统计
现有城市信息和产品信息两张表在MySQL中,另外有用户点击产品日志以文本形式存在hdfs上,现要求统计每个个城市区域下点击量前三的产品名,具体信息见下方。DROP TABLE city_info;CREATE TABLE city_info ( city_id int DEFAULT NULL, city_name varchar(255) DEFAULT NULL, area v...原创 2019-07-31 01:39:47 · 184 阅读 · 0 评论 -
Exception in thread "main" java.lang.RuntimeException: java.net.ConnectException: Call From
1:安装好hive,准备启动的时候出现下面的错误(由于hive是基于Hadoop的,所以必须先将你的集群启动起来,我就是没有启动集群,直接启动hive导致的错误):[hadoop@10-9-15-140 conf]$ hivewhich: no hbase in (/home/hadoop/app/hive-1.1.0-cdh5.15.1/bin:/home/hadoop/app/protob...原创 2019-07-23 01:18:12 · 9934 阅读 · 0 评论 -
Hive部署安装
Hive部署安装:前置条件:RequirementsJava 1.7Note: Hive versions 1.2 onward require Java 1.7 or newer. Hive versions 0.14 to 1.1 work with Java 1.6 as well. Users are strongly advised to start moving to Jav...原创 2019-07-23 01:28:54 · 2821 阅读 · 1 评论 -
Hive (二)Hive元数据信息对应MySQL数据库表
概述Hive 的元数据信息通常存储在关系型数据库中,常用MySQL数据库作为元数据库管理。本篇文章就是对hive的元数据有个简单的认识。存储Hive版本的元数据表(VERSION)VERSION – 查询版本信息该表比较简单,但很重要。如果该表出现问题,根本进入不了Hive-Cli。比如该表不存在,当启动Hive-Cli时候,就会报错”Table ‘hive.version’ doe...原创 2019-07-27 14:46:21 · 199 阅读 · 0 评论 -
Hive(一)简介
Hive是什么?hive是用来解决海量结构化的日志数据统计问题的,一般是作为建立在Hadoop上的OLAP数据仓库。它是一个客户端,主要是将SQL转化成MR任务,特别适合离线处理。它有着类似于SQL的语法,上手难度小,最特别的是它有着统一的元数据管理便于其他组件也可以使用。数据分布hive的数据主要分为两部分:数据以及元数据,元数据可以理解为MySQL的字段名称、表名一类的数据。 通常hiv...原创 2019-07-27 14:59:35 · 654 阅读 · 0 评论 -
Hive(三)DML和DDL语句
creat databaseCREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name[COMMENT database_comment][LOCATION hdfs_path][WITH DBPROPERTIES (property_name=property_value, ...)];语法与MySQL建库差不多,只是要注意的是,如果...原创 2019-07-29 00:24:45 · 204 阅读 · 0 评论