Hive
GulfMoon
记录点滴,收货成长!一只奋斗在大数据开发领域的小猿鹏:)
展开
-
DbVisualizer配置Hive连接
一、安装DbVisualizer官方下载地址: http://www.dbvis.com/ 也可以从网上下载破解版程序,本文使用的版本是DbVisualizer 10.0.1具体的安装步骤可以百度,或是修改安装目录之后默认安装就可以。 二、DbVisualizer中添加hive驱动1. 准备的jar包spark-assembly-1.6.3-hadoop2.6.0.j...原创 2018-08-14 20:20:25 · 1612 阅读 · 0 评论 -
Windows端本地开发Spark应用-new HiveContext报NullPointerException
Windows电脑开发Spark应用时,以local模式运行在本地,通过new HiveContext(sc)报java.lang.NullPointerExceptionat org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)一、环境相关1. Windows 102. IDEA 2...原创 2019-01-22 15:44:04 · 483 阅读 · 0 评论 -
Hive安装、使用及运行参数配置说明
一、Hive安装1. 官网下载hive安装包并解压;2. 修改环境变量vim ~/.bash_profileexport HIVE_HOME=export PATH=$PATH:$HIVE_HOME/binsource ~/.bash_profile3.执行hive --version4. 配置hive-env.shcp $HIVE_HOME/conf/...原创 2019-03-26 11:14:34 · 1306 阅读 · 0 评论 -
Hive报错:java.net.URISyntaxException: Relative path in absolute URI: ${system:user.name}
按照博文https://blog.csdn.net/u011817217/article/details/88813874 安装Hive,在启动Hive并show databases时,报错:Failed with exception java.io.IOException:java.lang.IllegalArgumentException: java.net.URISyntaxExcept...原创 2019-03-26 10:59:32 · 3081 阅读 · 1 评论 -
SparkSQL整合Hive实现metastore元数据共享
一、需求在兼容Hive技术的前提下,推进SparkSQL技术的使用,那么就会衍生出一个问题:如何让Hive和SparkSQL数据共享?,比如在Hive中操作,然后在SparkSQL中能够看到变化,反之亦然。注意:记住一个前提,先使用Hive在先,后引入SparkSQL,笔者在操作过程中发现了一个问题,之前SparkSQL中的数据会看不到,只能看到Hive中的,这个问题有待进一步研究。H...原创 2019-03-26 14:46:47 · 5841 阅读 · 1 评论 -
SparkSQL中创建外部表及使用
一、使用需求工作中经常会需要与外围系统打交道,由于外围系统和本系统不处于同一个Hadoop集群下,且不具有访问本系统的权限,所以基本上大数据量的接口都是以文件的方式进行传输。如何快速、便捷的将文件入Spark库中?通过SparkSQL中创建外部表的方式就能够很好地解决这一需求。二、解决方案1. hdfs上创建存放外部表数据文件的目录hdfs dfs -mkdir -p /hu...原创 2019-06-16 16:36:56 · 8728 阅读 · 0 评论