hive
笔和墨
加班让我致富,睡觉阻碍进步
展开
-
hive 部署需要注意的几点以及Version information not found 错误解决办法
异常问题:MetaException(message:Version information not found in metastore. ) at org.apache.hadoop.hive.metastore.ObjectStore.checkSchema(ObjectStore.java:7192) at org.apache.hadoop.hive.metastore.Object...原创 2018-05-09 11:01:15 · 1197 阅读 · 0 评论 -
spark sql集成hive步骤
SPARK ON HIVE:让spark sql通过sql的方式去读取hive当中的数据HIVE ON SPARK:让hive的计算引擎由MapReduce改为SPARK1、 先按官网的参考代码,构建val conf = new SparkConf().setMaster("local[*]").setAppName("hotCount") val sc = new SparkContext...原创 2018-05-13 16:06:55 · 2595 阅读 · 0 评论 -
利用Spark sql操作Hdfs数据与Mysql数据,sql窗口函数的使用
需求说明:根据商品的点击数据,统计出各个区域的销量排行TOPK 产品输入:开始时间与结束时间输出:每个城市的销量排行TOP K 产品地区级别 地区名称 产品名称 点击量 产品类型 A 西南片区 雾霾口罩 1000000 第三方 A 西南片区 雾霾口罩 1000000 第三方 A 西南片区 雾霾口罩 1000000 第三方 B 华中地区 苹果 1000 自营 ...原创 2018-05-15 17:35:15 · 3245 阅读 · 0 评论 -
大数据--------关于Hive Union使用说明
我在使用Hive SQL时,用关系型数据库SQL的语法写的Hive SQL.当进行多表union的时候,对数据进行去重,我用了如下SQL:select bacc,lst_int_prvs_dt,lst_txn_mf_sn from test1union select bacc,lst_int_prvs_dt,lst_txn_mf_sn from test2;在运行的时候,错误信息...原创 2019-02-12 16:16:40 · 730 阅读 · 0 评论