hive
文章平均质量分 69
Rachel_Channing
格物致知
展开
-
Spark SQL操作hive报错处理
Spark SQL操作hive报错处理总结:1:启动hive的metastore服务2:报错后加入依赖包spark-hive_2.123:创建SparkSession加入.enableHiveSupport()背景通过spark SQL访问hive上的表数据。准备工作将hive-site.xml文件,放入IDEA程序的resource目录下主程序object SparkSql...原创 2020-04-21 11:30:06 · 1022 阅读 · 0 评论 -
Hive初步使用
目录 概述架构1:用户接口 client2:元数据(Metastore)3:hadoop4:DriverHive的优点和使用场景Hive的常用命令1:show databases;2:create database rachel_db_hive;3:drop database db_hive;4:use rachel_db_hive;5:创建...原创 2018-10-14 15:47:46 · 466 阅读 · 0 评论 -
Hive常用的属性配置项
Tips:CDH版本的hive没有hive-default.xml等没有default文件1:hive数据仓库位置配置官网的解释: hive.metastore.warehouse.dir Default Value: /user/hive/warehouse Added In: Hive 0.2.0 Location of default database for the w...原创 2018-10-14 17:06:11 · 1144 阅读 · 0 评论 -
Hive中数据库的操作和表的操作总结
数据库操作1:创建数据库语法:CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value, ...)];e g:hiv...原创 2018-10-14 19:58:18 · 1480 阅读 · 0 评论 -
Hive数据备份、导出、常用的查询、** by的使用
数据导出1:结果数据保存到本地文件中语法格式INSERT OVERWRITE LOCAL DIRECTORY directory1 [ROW FORMAT row_format] [STORED AS file_format] (Note: Only available starting with Hive 0.11.0) SELECT ... FROM ... e g...原创 2018-10-17 20:48:52 · 3056 阅读 · 3 评论 -
Spark Streaming处理kafka的数据落地HDFS
Spark Streaming处理kafka的数据落地HDFS背景生产上项目的数据从上游kafka topic下发过来,经过spark Streaming简单清洗处理后,下发到下一个kafka topic中,目前需要将清洗处理好的数据,按小时分区落地到HDFS上。要求,如果当前落地HDFS的程序断了,能按照消息下发kafka topic 的时间进行分区。实现思路1:在下发的kafka t...原创 2019-09-03 10:20:43 · 3576 阅读 · 1 评论