spark结合spring读取有时间的dataFrame出现java.lang.IllegalArgumentException: Illegal pattern component: XXX...

最新推荐文章于 2022-07-11 17:53:23 发布
最新推荐文章于 2022-07-11 17:53:23 发布
阅读量456 收藏
点赞数
文章标签： java 大数据 scala
原文链接：https://my.oschina.net/zhu97/blog/1563335
版权

为什么80%的码农都做不了架构师？>>>   hot3.png

java.lang.IllegalArgumentException: Illegal pattern component: XXX
	at org.apache.commons.lang3.time.FastDatePrinter.parsePattern(FastDatePrinter.java:282) ~[commons-lang3-3.3.2.jar:3.3.2]
	at org.apache.commons.lang3.time.FastDatePrinter.init(FastDatePrinter.java:149) ~[commons-lang3-3.3.2.jar:3.3.2]
	at org.apache.commons.lang3.time.FastDatePrinter.<init>(FastDatePrinter.java:142) ~[commons-lang3-3.3.2.jar:3.3.2]
	at org.apache.commons.lang3.time.FastDateFormat.<init>(FastDateFormat.java:384) ~[commons-lang3-3.3.2.jar:3.3.2]
	at org.apache.commons.lang3.time.FastDateFormat.<init>(FastDateFormat.java:369) ~[commons-lang3-3.3.2.jar:3.3.2]
	at org.apache.commons.lang3.time.FastDateFormat$1.createInstance(FastDateFormat.java:91) ~[commons-lang3-3.3.2.jar:3.3.2]
	at org.apache.commons.lang3.time.FastDateFormat$1.createInstance(FastDateFormat.java:88) ~[commons-lang3-3.3.2.jar:3.3.2]
	at org.apache.commons.lang3.time.FormatCache.getInstance(FormatCache.java:82) ~[commons-lang3-3.3.2.jar:3.3.2]
	at org.apache.commons.lang3.time.FastDateFormat.getInstance(FastDateFormat.java:165) ~[commons-lang3-3.3.2.jar:3.3.2]
	at org.apache.spark.sql.execution.datasources.csv.CSVOptions.<init>(CSVOptions.scala:128) ~[spark-sql_2.11-2.2.0.jar:2.2.0]
	at org.apache.spark.sql.execution.datasources.csv.CSVOptions.<init>(CSVOptions.scala:39) ~[spark-sql_2.11-2.2.0.jar:2.2.0]
	at org.apache.spark.sql.execution.datasources.csv.CSVFileFormat.inferSchema(CSVFileFormat.scala:55) ~[spark-sql_2.11-2.2.0.jar:2.2.0]
	at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$7.apply(DataSource.scala:177) ~[spark-sql_2.11-2.2.0.jar:2.2.0]
	at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$7.apply(DataSource.scala:177) ~[spark-sql_2.11-2.2.0.jar:2.2.0]
	at scala.Option.orElse(Option.scala:289) ~[scala-library-2.11.11.jar:na]
	at org.apache.spark.sql.execution.datasources.DataSource.getOrInferFileFormatSchema(DataSource.scala:176) ~[spark-sql_2.11-2.2.0.jar:2.2.0]
	at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:366) ~[spark-sql_2.11-2.2.0.jar:2.2.0]
	at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:178) ~[spark-sql_2.11-2.2.0.jar:2.2.0]
	at org.apache.spark.sql.DataFrameReader.csv(DataFrameReader.scala:533) ~[spark-sql_2.11-2.2.0.jar:2.2.0]
	at org.apache.spark.sql.DataFrameReader.csv(DataFrameReader.scala:412) ~[spark-sql_2.11-2.2.0.jar:2.2.0]
	at com.gw.spark.utils.HdfsFileUtils$.getCsvFileFromHdfs(HdfsFileUtils.scala:94) ~[Spark_M.jar:na]
	at com.gw.spark.spark.MyAls.trainAndSaveResultByHdfs(MyAls.scala:82) ~[Spark_M.jar:na]
	at com.matrix.utils.AlsTest.main(AlsTest.java:18) ~[classes/:na]
	at com.matrix.service.impl.MtxUserRecommendServiceImpl.recommend(MtxUserRecommendServiceImpl.java:61) ~[classes/:na]
	at com.matrix.service.impl.MtxUserRecommendServiceImpl$$FastClassBySpringCGLIB$$b10f73a0.invoke(<generated>) ~[spring-core-4.0.2.RELEASE.jar:na]
	at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:204) ~[spring-core-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.invokeJoinpoint(CglibAopProxy.java:711) ~[spring-aop-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:157) ~[spring-aop-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at org.springframework.transaction.interceptor.TransactionInterceptor$1.proceedWithInvocation(TransactionInterceptor.java:98) ~[spring-tx-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at org.springframework.transaction.interceptor.TransactionAspectSupport.invokeWithinTransaction(TransactionAspectSupport.java:262) ~[spring-tx-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:95) ~[spring-tx-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:179) ~[spring-aop-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at org.springframework.aop.interceptor.ExposeInvocationInterceptor.invoke(ExposeInvocationInterceptor.java:92) ~[spring-aop-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:179) ~[spring-aop-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at org.springframework.aop.framework.CglibAopProxy$DynamicAdvisedInterceptor.intercept(CglibAopProxy.java:644) ~[spring-aop-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at com.matrix.service.impl.MtxUserRecommendServiceImpl$$EnhancerBySpringCGLIB$$c19b5bfa.recommend(<generated>) ~[spring-core-4.0.2.RELEASE.jar:na]
	at com.matrix.api.TestController.t1(TestController.java:17) ~[classes/:na]
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[na:1.8.0_66]
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[na:1.8.0_66]
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[na:1.8.0_66]
	at java.lang.reflect.Method.invoke(Method.java:497) ~[na:1.8.0_66]
	at org.springframework.web.method.support.InvocableHandlerMethod.invoke(InvocableHandlerMethod.java:215) ~[spring-web-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(InvocableHandlerMethod.java:132) ~[spring-web-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at org.springframework.web.servlet.mvc.method.annotation.ServletInvocableHandlerMethod.invokeAndHandle(ServletInvocableHandlerMethod.java:104) ~[spring-webmvc-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.invokeHandleMethod(RequestMappingHandlerAdapter.java:749) ~[spring-webmvc-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.handleInternal(RequestMappingHandlerAdapter.java:690) ~[spring-webmvc-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at org.springframework.web.servlet.mvc.method.AbstractHandlerMethodAdapter.handle(AbstractHandlerMethodAdapter.java:83) ~[spring-webmvc-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:945) ~[spring-webmvc-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:876) ~[spring-webmvc-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:961) [spring-webmvc-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at org.springframework.web.servlet.FrameworkServlet.doGet(FrameworkServlet.java:852) [spring-webmvc-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at javax.servlet.http.HttpServlet.service(HttpServlet.java:622) [servlet-api.jar:na]
	at org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:837) [spring-webmvc-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at javax.servlet.http.HttpServlet.service(HttpServlet.java:729) [servlet-api.jar:na]
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:291) [catalina.jar:8.0.30]
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206) [catalina.jar:8.0.30]
	at org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52) [tomcat-websocket.jar:8.0.30]
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:239) [catalina.jar:8.0.30]
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206) [catalina.jar:8.0.30]
	at org.springframework.web.filter.CharacterEncodingFilter.doFilterInternal(CharacterEncodingFilter.java:88) [spring-web-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:108) [spring-web-4.0.2.RELEASE.jar:4.0.2.RELEASE]
	at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:239) [catalina.jar:8.0.30]
	at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206) [catalina.jar:8.0.30]
	at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:212) [catalina.jar:8.0.30]
	at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:106) [catalina.jar:8.0.30]
	at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:502) [catalina.jar:8.0.30]
	at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:141) [catalina.jar:8.0.30]
	at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:79) [catalina.jar:8.0.30]
	at org.apache.catalina.valves.AbstractAccessLogValve.invoke(AbstractAccessLogValve.java:616) [catalina.jar:8.0.30]
	at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:88) [catalina.jar:8.0.30]
	at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:521) [catalina.jar:8.0.30]
	at org.apache.coyote.http11.AbstractHttp11Processor.process(AbstractHttp11Processor.java:1096) [tomcat-coyote.jar:8.0.30]
	at org.apache.coyote.AbstractProtocol$AbstractConnectionHandler.process(AbstractProtocol.java:674) [tomcat-coyote.jar:8.0.30]
	at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.doRun(NioEndpoint.java:1500) [tomcat-coyote.jar:8.0.30]
	at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.run(NioEndpoint.java:1456) [tomcat-coyote.jar:8.0.30]
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) [na:1.8.0_66]
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) [na:1.8.0_66]
	at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61) [tomcat-util.jar:8.0.30]
	at java.lang.Thread.run(Thread.java:745) [na:1.8.0_66]
/**
      * 读取hdfs集群的文件
      * @param sparkSession
      * @param fileUrl hdfs中的路径
      * @return
      */
    def getCsvFileFromHdfs(sparkSession :  SparkSession, fileUrl : String) : DataFrame = {
        try{
            return sparkSession.read.option("timestampFormat", "yyyy/MM/dd HH:mm:ss ZZ").csv(property.get("HADOOP_URI1").toString + fileUrl)
        }catch {
            case e : RemoteException =>
            return sparkSession.read.option("timestampFormat", "yyyy/MM/dd HH:mm:ss ZZ").csv(property.get("HADOOP_URI2").toString + fileUrl)
        }
    }


    /**
      * 在hdfs上创建或者追加csv文件
      * @param sparkSession
      * @param dataFrame
      * @param fileUrl
      */
    def createOrAppendCsvFileFromHdfs(sparkSession: SparkSession, dataFrame : DataFrame, fileUrl : String) : Unit = {
        try{
            dataFrame.write.option("timestampFormat", "yyyy/MM/dd HH:mm:ss ZZ").mode(SaveMode.Append).csv(property.get("HADOOP_URI1").toString + fileUrl)
        }catch {
            case e : RemoteException =>
                dataFrame.write.option("timestampFormat", "yyyy/MM/dd HH:mm:ss ZZ").mode(SaveMode.Append).csv(property.get("HADOOP_URI2").toString + fileUrl)
        }
    }

在直接使用java main函数使用读取spark读取hadoop中的csv没有问题
在spring中集成使用就回出现上述问题

解决方式：如上所示，直接在读取和写入的时候加入option，设置为ZZ，最后

转载于:https://my.oschina.net/zhu97/blog/1563335

weixin_34144450
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
解决java.lang.IllegalArgumentException异常的正确方法（通俗易懂）
weixin_44361445的博客
05-11 1423
本论文将深入探讨java.lang.IllegalArgumentException异常的产生原因、常见情景以及正确解决方法，并提供丰富的代码示例和实践经验，帮助读者更好地理解和处理这一异常。异常处理：在方法内部对可能引发IllegalArgumentException异常的代码块进行try-catch处理，以捕获并处理异常，避免异常的传播和程序的异常终止。非法的方法参数：当调用方法时传入了不合法的参数，例如传入了空值或负数，就可能导致IllegalArgumentException异常的抛出。
pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例
01-21
代码如下，步骤流程在代码注释中可见： # -*- coding: utf-8 -*- import pandas as pd ...df = pd.DataFrame([[1, 2, 3], [4, 5, 6]], index=['row1', 'row2'], columns=['c1', 'c2', 'c3']) #打印数据 pri
Spark - Illegal pattern component: XXX 与org.apache.commons.lang3.time.FastDateFormat incompatible
BITDDD小栈
07-11 1296
使用 sparkSession 读文件时出现java.lang.IllegalArgumentException: Illegal pattern component: XXX 报错，解决后又出现java.io.InvalidClassException: org.apache.commons.lang3.time.FastDateFormat; local class incompatible: stream classdesc serialVersionUID = 2，下面解决一下。...
java.lang.IllegalArgumentException: Timestamp format must be yyyy-mm-dd hh:mm:ss
zbzhangzi的专栏
12-02 509
java.lang.IllegalArgumentException: Timestamp format must be yyyy-mm-dd hh:mm:ss[.fffffffff] Java中一个属性类型是java.util.Date类型，但是数据库表中是varchar类型，在页面上显示记录的时候出现此错误...
进阶学习(3.8) Component Pattern 组合模式
BIG.KE的博客
09-01 222
1， 什么是组合模式 一句话概括， 复杂的实体类， 一个对象里面包含多个对象， 就是一种组合， 完善对象的数据多样性， 其实大部分的设计模式， 我们再日常编程中都会使用， 有些可能使用了完整的思想， 有些只是抽象， 只不过大部分我们不知道名字罢了 2， 直接看代码吧 public class Component { // 享元案例 private Flyweight flyweight; // 对象1 private HashMap hashMap; ..
使用 maven 解决 spring boot 整合 spark 依赖冲突问题
vic_torsun的博客
07-11 1294
spring整合spark依赖冲突 在配置spring和spark的整合开发环境时，出现了很多编译错误，将其整理如下 首先在选择开发环境版本时，我们考虑了集群的编译版本： [root@manager01 ~]# spark-shell Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(ne...
记一次线上报错{“exception“:“Illegal pattern component: XXX}
qq_35338741的博客
07-16 695
背景：这是一个数据清洗，多表关联处理的程序。之前一直运行良好。突然就报错如下 {"exception":"Illegal pattern component: XXX org.apache.commons.lang3.time.FastDateFormat.parsePattern(FastDateFormat.java:577) at org.apache.commons.lang3.time.FastDateFormat.init(FastDateFormat.java:444) at
Pandas实现dataframe和np.array的相互转换
09-18
今天小编就为大家分享一篇Pandas实现dataframe和np.array的相互转换，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Python pandas.DataFrame 找出有空值的行
09-18
主要介绍了Python pandas.DataFrame 找出有空值的行,本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
一个Java DataFrame的实现.zip
最新发布
03-09
一个Java DataFrame的实现.zip
java.lang.IllegalArgumentException错误解决，删除.m2文件
weixin_43239068的博客
02-02 3353
自己遇到的问题还是解决完有个记录比较好，要不然下次忘了找不到解决办法，纪念自己的第一个博客。 在运行maven项目的时候出现的 java.lang.IllegalArgumentException 的错误 解决办法： 把eclipse关闭后，删除C盘的.m2文件，然后再次打开eclipse，右键项目→Maven→update project→勾选号相对应的项目，并勾选下方的 Fouce Upd...
错误提示：java.lang.IllegalArgumentException解决方法
热门推荐
飞翔射手座
03-09 22万+
我的程序出现这个错误的原因是编译环境和运行环境的jdk版本不一致，首先是spring mvc的版本是3.*的，而我本机的jdk是jdk8，查阅资料后得知他俩的兼容性不是很好，有问题，只能用jdk7及以下的版本，所以我就在myeclipse中直接导入了一个jdk1.7，但是这样依然没有解决，这是因为，这样导入后，我的运行环境和编译环境不一致，所以就要经过以下的设置： 选中项目，单击右键-》Prope
Spark2.3.0解决Exception in thread "main" java.lang.IllegalArgumentException: Illegal pattern component
lds_include
04-16 4762
Spark2.3.0解决Exception in thread “main” java.lang.IllegalArgumentException: Illegal pattern component: XXX 报错 出错的调用代码 此问题出现在调用spark.read.json或者csv的时候出现。 res.write .mode("append") .json("c://out") ...
关于DataSet和DataFrame
冲吧，不要停！
04-11 4874
刚才开始看SparkSql，把看过程中的了解的东西行记下来1，关于类型方面： DataSet是带有类型的（typed），例：DataSet<Persono>。取得每条数据某个值时，使用类似person.getName()这样的API，可以保证类型安全。 而DataFrame是无类型的，是以列名来作处理的，所以它的定义为DataSet<Row>。取得每条数据某个值时，可能要使用row.getStrin
pandas的数据结构DataFrame详解
追梦小乐的博客
03-16 3932
python高级应用与数据分析学习笔记 12 1、DataFrame的创建方式 1.1 通过二维数组创建 import numpy as np import pandas as pd # 1、DataFrame的创建方式 # 1.1 通过二维数组创建 arr = [['张伊曼', 100], ['张诗诗', 90], ['张巧玲', 80]] df0 = pd.Data...
spark dataframe操作集锦（提取前几行，合并，入库等）
大数据挖掘SparkExpert的博客
04-02 9万+
spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。 在实际工作中会遇到这样的情况，主要是会进行两个数据集的筛选、合并，重新入库。 首先加载数据集，然后在提取数据集的前几行过程中，才找到limit的函数。 而合并就用到union函数，重新入库，就是registerTemple注册成表，再进行写入到HIVE中。
SpringBoot+SpringWebFlux +Spark JAVA 版
刘涛的博客
03-15 1050
一：版本预备： Scala :2.11 版 Spark: 2.2.3 版 二：版本之间的差异： Spark 2.x 版中将使用Dataset 取代Spark 1.x 版 DataFrame 三：项目工程搭建 构建一个SpringInitializr 项目 在pom.xml 文件中添加依赖 <dependency> <groupId>org.apache.s......
spark解决Illegal pattern component: XXX NoSuchFieldError: KRYO_SARG_BUFFER
No_doI的博客
07-10 723
spark读取csv、orc等文件异常 1 异常现象 ​ spark读取csv、orc等文件出现解析异常 ​ java.lang.IllegalArgumentException: Illegal pattern component: XXX java.lang.NoSuchFieldError: KRYO_SARG_BUFFER 1.1 读取csv文件异常内容如下： Exception in thread "main" java.lang.IllegalArgumentException: Illegal
java.lang.IllegalArgumentException: Illegal pattern component: XXX
LAFEU的专栏
04-16 1156
问题、Spark bug：java.lang.IllegalArgumentException: Illegal pattern component: XXX 解决办法 原因概述：代码用到了调用spark.read.json，maven升级的时候，没有自动加载完整依赖包 解决方式 手动增加lang包的依赖，在pom文件里面增加： <dependency> &lt...
: java.lang.IllegalArgumentException: requirement failed: Column preprice must be of type numeric but was actually of type string如何修改
06-08
3. 如果您正在使用 DataFrame API，请使用 cast 函数将列 "preprice" 转换为数字类型，例如： ``` import org.apache.spark.sql.functions._ val df = spark.read.csv("path/to/file.csv") val newDf = df....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值