- 博客(6)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 org.apache.spark.SparkException: Task not serializable
Spark报错:org.apache.spark.SparkException: Task not serializable一眼就能看出是没有进行序列化，在spark程序中，所有的class都要序列化。如果不需要序列化的用transient修饰修改后的代码:package com.example.controller;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;
2020-05-25 18:09:33
433
原创 记一次线上Mysql事故
由于数据订正，同事执行了脚本，数据量大概在几百万，开始没有多线程跑，导致数据库卡死，然后造成死锁。一直 LOCK WAIT，线上页面卡死，无法提交数据，重大事故数据表采用的InnoDB,InnoDB与MyISAM的最大不同有两点：一是支持事务（TRANSACTION）；二是采用了行级锁。行级锁与表级锁本来就有许多不同之处查看造成的SQLselect * from information_schema.innodb_trx;上面是已经杀死了 LOCK WAIT的Mysql线程的结果，如果有
2020-05-21 05:29:42
404
原创 AES加解密 Illegal key size
出现这个的原因在于:JAVA默认支持AES 128 Bit 的key, 如果你使用 256 Bit key, java complier 会抛出 Illegal key size Exception有两种解决办法第一种:替换jar把里面的两个jar包：local_policy.jar 和 US_export_policy.jar 替换掉原来 Jdk 安装目录 $\Java\jre{6|7|8}\lib\security 下的两个jar 包接可以了jar地址:jdk8https:/..
2020-05-19 17:46:03
1508
2
原创 application.properties/Environment 中文乱码
先是在pom.xml文件配置了属性，然后在application.properties中引用，其他地方通过Spring从application.properties中拿就可以了，结果不尽人意，不除意外有中文肯定会有编码问题，这个和开发工具idea什么的编码UTF-8无关pom.xmlapplication.properties如果在代码直接获取就会出现下面这种情况需要编码处理，Spring应该就是通过ISO8859-1获取的。下面是解决办法（如果是application.ym
2020-05-19 15:33:47
1350
1
原创 枚举还能这么用？你会了吗？
枚举我们一般用来作常量等作用，比如:/** * * Copyright (c) 2016 All Rights Reserved. */package com.shinedata.constants;import java.util.ArrayList;import java.util.List;public enum UserTypeEnum { /** 超级用户 */ SUPER_USER(0, "超级用户"), /
2020-05-13 17:58:23
685
原创 SpringBoot+Redis+Lua分布式限流
Redis支持LUA脚本的主要优势LUA脚本的融合将使Redis数据库产生更多的使用场景，迸发更多新的优势：高效性：减少网络开销及时延，多次redis服务器网络请求的操作，使用LUA脚本可以用一个请求完成 数据可靠性：Redis会将整个脚本作为一个整体执行，中间不会被其他命令插入。 复用性：LUA脚本执行后会永久存储在Redis服务器端，其他客户端可以直接复用 可嵌入性：可嵌入JAV...
2020-05-07 17:24:34
1027
2
docker周阳老师的脑图xmind整理
2019-03-16
尚硅谷周阳老师docker视频脑图
2019-03-16
周阳老师SpringCloud脑图
2019-03-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人