- 博客(5)
- 收藏
- 关注
RSS订阅原创 【求解惑】org.apache.shuffle.FetchFailedException:Failed to connect to xxx:41972
【求解惑】集群断电后org.apache.shuffle.FetchFailedException:Failed to connect to xxx:41972
2021-12-08 09:11:58
1181
1
原创 关于spark streaming 通过transform 算子读取文件的坑
关于spark streaming 通过transform 算子读取文件的坑语言：scala工具: spark streaming 读取 hdfs 状态文件首先可以看到有两个state变量已经标红 ，其代码除了一个persist一模一样；最开始我发现在transform里面写state可能不太好看，所以我把state变量放在了算子外面，在算子里面进行使用，但是后续发现state一直没能起到作用；多方排查后发现state写在transform外面只会读取一次，必须写在transform里面；读
2021-10-15 14:53:49
93
原创 java.io.IOexception:Broken pipe； java.io.IOexception:connection reset by peer
java.io.IOexception:Broken pipe； java.io.IOexception:connection reset by peer语言：java需求：java连接hbase，进行读写如标题所示，IO异常了，但是这个时候的报错特别的笼统。根本看不到错误！首先查看hbase的master以及regionserver是否启动，日志有无异常，但是很不幸无异常接下来查看zk的leader日志以及穷情况也无问题因为是架构师写的代码，最开始根本没有想过代码会有问题，仔细查看代码后发现
2021-08-18 17:33:59
681
原创 【spark】java.io.NotSerializableException: org.apache.spark.unsafe.types.UTF8String$IntWrapper
菜鸟一只，谨代表自己观点，欢迎大家指教写了一个spark.sql("select usernum from xx.test where day=20210715 group by usernum ").show 居然报java.io.NotSerializableException。非常奇怪的问题。环境：spark2.2.0+jdk1.8前期准备工作：create table test (usernum string,type string) partitioned by(day strin
2021-07-16 21:23:36
436
2
原创 org.apache.spark.sql.catalyst.errors.package$TreeNodeException：execute tree
@TOorg.apache.spark.sql.catalyst.errors.package$TreeNodeException：execute tree语言：scala工具: spark 读取hdfs 文件(映射到hive的 有分区但文件内容没有)如标题所示，在生成计划树的时候出错了，但是这个时候的报错特别的笼统。根本看不到错误！如图所示，直接看最中心的报错首先检查：检查parquet文件的case class和读取后as的case class是否一致；查看是否是因为as case
2020-06-19 20:44:11
7103
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人