- 博客(6)
- 收藏
- 关注
RSS订阅原创 spark 任务task not serializable
项目场景：在大数据项目中，经常会使用到spark。spark任务使用rdd的时候，特别要注意数据能否进行序列化问题描述：代码如下val features = preFeatureDf// .withColumn("label",col("label").cast(IntegerType)) .withColumn("allTraitData", struct(columnNameArray.map(col): _*)) .drop(columnNa
2020-09-09 22:39:44
250
原创 spring boot项目编译时无法通过字节码校验问题修复
项目场景：spring boot 项目，在本地启动时不会报错，但是发布到测试环境后，会报 java.lang.VerifyError问题描述：java.lang.VerifyError是JVM加载class文件时做字节码校验（bytecode verification）失败时报错的。如果你的class文件是由java源文件通过javac编译出来的，那么基本上不用担心bytecode verification。 如果class文件是由asm、cglib等动态生成出来的或者由其它编译器生成的，那么JVM
2020-09-07 22:35:57
615
原创 jar包scala版本冲突导致的UnsatisfiedDependencyException
项目场景：更新大项目中用到的snapshot jar 包为最新版本的release包，提升maven的build速度。问题描述：更新jar包后，build速度提升了30%，但是项目起不起来了。报错UnsatisfiedDependencyException。某一个bean加载不上。报错的方法nosuchMethod，但是是有该方法的。原因分析：更新jar包后，一个新的jar包中包含scala_2.12,其它的jar中的scala版本就是 scala_2.11 导致的编译冲突解决方案：通
2020-09-03 22:02:16
573
原创 规范的开发流程决定开发效率
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档如何规范自己的开发流程（记录贴）前言一、开发前需要做什么？二、开发中三、测试（非常重要）总结前言在工作中总是会觉得自己做的多，但是产出少，工程开发总是不能很好的按期完成，每次不能完成，自己也很心累，给团队给领导的映像也是不能按时完成工程。所以如何能够规范好开发流程，制定好时间安排，对于自己的工作是非常重要的一部分。从今天开始，我将把自己在工作中切实体验到的一些经验记录，积累在这里。提示：以下是本篇文章正文内容，下面案例可供参考一
2020-09-02 22:56:57
421
1
原创 Java连接Mysql数据库写入中文数据乱码成？？？的解决方法
Java连接Mysql数据库写入中文数据乱码成？？？的解决方法问题介绍Java连接JDBC问题解决方法问题介绍在本地创建好表，写入中文数据时，发现调用接口写入的数据值变成了？？？，但是手动输入的时候是可以显示中文的，因此定位到问题所在，是java写入过程中的问题。但是本地调试在insert的时候，中文字符依然正确。jooq生成的代码insert不会出错，因此应该是在java连接JDBC时出错的！Java连接JDBCjava连接到MySql时，需要设定连接到的数据库的url，url设定是可以带上一
2020-08-28 23:03:42
1101
1
原创 java Jsoup调用http请求contentType设定
java Jsoup调用http请求contentType设定一、Jsoup是什么？二、使用Jsoup过程中遇到的问题和改正一、Jsoup是什么？Jsoup是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。二、使用Jsoup过程中遇到的问题和改正第一次使用Jsoup时，可以学习Jsoup的官方文档https://www.open-open.com/jsoup/，写出如下
2020-08-28 00:06:10
2198
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人