- 博客(9)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 解决Unable to find encoder for type stored in a Dataset问题
问题描述Error:(350, 43) Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.implicits._ Support ...
2019-05-31 14:49:13
3473
原创 IDEA创建Java Web项目
IDEA作为一个智能的IDE，是很多人进行开发的首选，如何使用IDEA创建maven web项目，新手可能要爬很多坑，此教程教新手快速创建Java Web项目！步骤一：首先先创建一个project,在这里就是创建一个maven的工作空间步骤二：按照下面的步骤操作就可以了，最后next首先，选择左边的maven然后在右边Creater from archetype选项前面打个勾...
2019-05-15 19:54:06
866
转载 kafka常见问题汇总
转载地址：https://blog.csdn.net/yjh314/article/details/77506512?utm_source=blogkpcl151、kafka.common.KafkaException: Should not set log end offset on partition问题描述：kafka单台机器做集群操作是没有问题的，如果分布多台机器并且partiti...
2019-05-13 16:49:07
1174
转载 Kafka基本操作命令
目录1. 查看帮助信息2. 创建Topic3. 查看当前Kafka集群中Topic的情况4. 查看对应topic的描述信息5. Topic信息修改6. Topic删除转载地址：https://www.cnblogs.com/liuming1992/p/6423458.htmlKafka支持的基本命令位于${KAFKA_HOME}/bin文件夹中，主要是kafka-...
2019-05-13 16:39:28
194
原创 127.Spark大型电商项目-Spark Streaming+Kafka调试之Hive在spark2.0.0启动时无法访问spark-assembly-*.jar的解决办法
目录1、问题描述2、解决方法:3、最后验证下转载地址：https://blog.csdn.net/wjqwinn/article/details/526923081、问题描述 自从spark2.0.0发布之后，每次启动hive的时候，总会发现一个小问题，启动hive --service metastore的时候，会报一个小BUG: 无法访问<PathTo...
2019-05-13 16:34:05
313
原创 java.lang.NoSucjava.lang.NoSuchMethodError: scala.collection.immutable.Range.validateRangeBoundaries
目录问题描述解决方法问题描述在IDEA编译器中运行编写好的Spark程序时，报如下的错误：java.lang.NoSuchMethodError: scala.collection.immutable.Range.validateRangeBoundaries(Lscala/Function1;)Z at scala.xml.parsing.Factor...
2019-05-13 16:26:13
725
原创 126.Spark大型电商项目-Spark Streaming+Kafka调试之war出错
目录报错具体错误日志错误原因报错org.apache.catalina.LifecycleException: Failed to start component [StandardEngine[Catalina].StandardHost[localhost].StandardContext[]]具体错误日志严重: ContainerBase.addChi...
2019-05-13 12:18:58
279
转载 125.Spark大型电商项目-Spark Streaming+Kafka调试之Kafka errors NotLeaderForPartitionException, TimeoutExceptio
解决问题：Kafka errors NotLeaderForPartitionException, TimeoutException: Batch containing * record(s) expired转载地址：https://blog.csdn.net/jiecxy/article/details/533691731. 错误描述kafka Producer在运行期间，出现大量以...
2019-05-12 19:40:45
1025
原创 124.Spark大型电商项目-Spark Streaming+Kafka调试之java.lang.NumberFormatException: multiple points
目录解决问题：java.lang.NumberFormatException: multiple points出现问题的代码出现问题的原因解决方法为每个线程创建独立的格式实例共用一个格式，但是外部代码进行同步解决问题：java.lang.NumberFormatException: multiple points在实时广告流统计模块测试的时候，使用的是数据库连...
2019-05-12 17:17:55
419
goods_detail.txt
2020-11-27
goods_ids.txt
2020-11-27
area_top3_product.sql
2019-04-01
city_info.sql
2019-04-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人