关注
分享
治辉料码
程序员一枚，翻译过camel软件图书，参与过阿里巴巴数据库连接池Duid开发，主持过全国税务核心业务平台搭建。现在大数据公司码农。
来吧一块学习大数据。
喜欢看书，喜欢思考。
保持正念，主人翁我在，拒绝自动驾驶。
展开
-
导入数据到hive表中的6种方式
数据导入六种方式1、加载本地文件到hive表语法2、加载hdfs文件到hive中3、加载数据覆盖表中已有的数据4、创建表时通过select加载create table if not exists default.dept_catsas select * from dept;5、创建表通过insert加载6、创建表的时候通过location指定加载外部表方式create external table...原创 2018-03-06 22:42:54 · 30893 阅读 · 1 评论 -
Hive中分区表及陷阱
分区表分区表实际就是对应hdfs文件系统上的的独立的文件夹，该文件是夹下是该分区所有数据文件。分区可以理解为分类，通过分类把不同类型的数据放到不同的目录下。分类的标准就是分区字段，可以一个，也可以多个。分区表的意义在于优化查询。查询时尽量利用分区字段。如果不使用分区字段，就会全部扫描。在查询是通过where子句查询来指定所需的分区。样例create external table if not ex...原创 2018-03-06 22:52:08 · 7914 阅读 · 0 评论 -
Hive的管理表和外部表
管理表内部表也称之为MANAGED_TABLE；默认存储在/user/hive/warehouse下，也可以通过location指定；删除表时，会删除表数据以及元数据；外部表外部表称之为EXTERNAL_TABLE；在创建表时可以自己指定目录位置(LOCATION)；删除表时，只会删除元数据不会删除表数据；语法外部表创建外部表create external table if not exists ...原创 2018-03-06 22:53:02 · 696 阅读 · 0 评论 -
大数据||导出Hive表中的数据
导出Hive表中的数据方式由很多种。一下就介绍一下方式一：在hive的命令行内insert overwrite local directory '/opt/datas/hive_emp_exp' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' COLLECTION ITEMS TERMINATED BY '\n' select * from em...原创 2018-03-06 23:25:37 · 1622 阅读 · 0 评论 -
大数据||Hive中常用的查询
Hive中的查询 Select查询语法SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [GROUP BY col_list] [ORDER BY col_list] [CLUSTER BY col_list | [DISTRIBUTE...原创 2018-03-07 00:15:45 · 17481 阅读 · 2 评论 -
Hive中数据导入导出（Import和Export）
官方文档地址：https://cwiki.apache.org/confluence/display/Hive/Home导出EXPORT将hive表中的数据导出到外部。语法：EXPORT TABLE tablename [PARTITION (part_column="value"[, ...])] TO 'export_target_path' [ FOR replication('even...原创 2018-03-08 11:59:13 · 7202 阅读 · 0 评论 -
Hive中order by、sort by、distribute by和cluster by
Order By语法colOrder: ( ASC | DESC )colNullOrder: (NULLS FIRST | NULLS LAST) -- (Note: Available in Hive 2.1.0 and later)orderBy: ORDER BY colName colOrder? colNullOrder? (',' colName colOrd...原创 2018-03-08 16:55:52 · 373 阅读 · 0 评论 -
Hive的UDF编程
官方地址：https://cwiki.apache.org/confluence/display/Hive/HivePlugins什么是UDF（user-Define-Function）？用户定义的函数。查看hive自带的函数。show funtion;查询某个函数的详细使用手册desc function extended split ; UDF几种类型UDF(User-Defined-Func...原创 2018-03-08 17:56:20 · 223 阅读 · 0 评论