- 博客(10)
- 收藏
- 关注
RSS订阅原创 CDH 6.3.2集群运行碰到这个问题 hive execution version == hive metastore version.
Exception in thread "main" java.lang.IllegalArgumentException: Builtin jars can only be used when hive execution version == hive metastore version. Execution: 2.1 != Metastore: 1.2.1. Specify a valid path to the correct hive jars using spark.sql.hive.metas
2021-08-20 16:17:00
868
原创 记一次CDH6.3.2 spark 执行出现错误，出现了java.lang.ExceptionInInitializerError: null
在进行saprk renwu 调度时候出现这个问题 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/hive-jdbc-2.1.1-cdh6.3.2-standalone.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF
2021-07-12 14:13:40
1218
原创 idea本地运行出现找不到了的问题 Exception in thread “main“java.lang.lassNotFoundException Create breakpoint
本地运行scala脚本出现这个问题 先放一点设置 这里【provided】指编译时期有，但不打参与打包 这里是其中一下 问题应该是程序运行时候找不到main 文件，在这里设置 点击编辑设置这里，然后点击修改选项这个，找到提供这两个选项 最后保存就可以运行了 ...
2021-07-10 14:43:39
2546
原创 .xxx is not a valid externa 问题
使用Spark 执行sql 命令 val schemas = StructType( List( // StructField("id",LongTypes, true), StructField("userid", LongTypes, true), StructField("xzqnumber", StringType, true), StructField("xzqname", StringType, tru
2021-05-25 19:14:48
462
原创 CDH 6.3.2 实战oozie+hue+sqoop+hive 应用碰到的问题（Class com.hadoop.compression.lzo.LzoCodec not found问题 ）
首先我先说一下采用尚硅谷数据导入要采用lzo 压缩的，直接走这篇文章去安装 CDH安装LZO压缩方式 获取到hadoop-lzo.jar /hadoop-lzo-0.4.15-cdh6.3.2.jar 之后上传到HDFS这个目录下 hdfs dfs -put /opt/cloudera/parcels/GPLEXTRAS/lib/hadoop/lib/hadoop-lzo-0.4.15-cdh6.3.2.jar /user/oozie/share/lib/lib_20210429181138/sqoop/
2021-05-21 21:30:48
1405
原创 Fastjson出现这个问题com.alibaba.fastjson.JSONArray cannot be cast to com.alibaba.fastjson.JSONObject
本想用fastjson想对ES数据 进行处理的时候发现提示这个问题 代码截图如下： 就是对json 字符串进行获取解析字段 但出现了报错 从传入数据分析 会发现存在这个每条数据都是数组，并且用中括号括起来，结合提示，传入进来的是JSON的Array 数组，那么我应该是用JSAONArray 去接收，然后转进行转换整JSONObject 对象然后在进行提取信息； 所以修改代码如下 val jsonDF: DataFrame = df.selectExpr("FJSON") jsonDF.m
2021-04-20 09:11:22
10357
原创 求助下，这道题怎么做，要求用Hive SQL完成，营销数据
数据如下： t_sales.txt 1,nike,20180901,20180905 2,nike,20180903,20180906 3,nike,20180909,20180915 4,oppo,20180804,20180805 5,oppo,20180804,20180815 6,vivo,20180815,20180821 7,vivo,20180902,20180912 加载语句 drop table t_sales; create table t_sales(
2021-02-28 01:00:30
272
原创 Apache POI 实战应用
直接上pom.xml <!--读取excel文件--> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>4.0.1</version> </dependency> <dependency> <
2021-02-22 20:05:23
612
原创 idea 连接Presto 操作，超详细操作！！！！
一、 需要提前下载presto 的JDBC 的安装包 https://prestodb.io/download.html 二、按下面操作 出现下面界面，然后去编辑自定义JDBC设置 用URL ONLY 模式 点击**+**号 ,如图操作 选择自己下载的JDBC包， 出现这样的 提示就可以了，原来的红色的Apache的包删除即可，最好改个名字Name 点击APPLY，然后点击箭头撤回原来界面 启动hive 服务，前提yarn,hdfs 服务都打开 start-all.sh hive --servi
2021-01-07 16:58:50
2104
原创 Hive经典例题解析
1.第一题： sid name gender age academy dt chinese math english 95001 李勇 男 20 CS 2017-08-31 56 28 62 95002 刘晨 女 19 IS 2017-08-31 84 22 38 95003 王敏 女 22 MA 2017-08-31 38 80 82 95004 张立 男 19 IS 2017-08-31 39 65 4 95005 刘刚 男 18 MA 2018-08-31 18 28 79 95006
2020-10-18 15:00:47
864
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人