自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4)
  • 收藏
  • 关注

原创 Spark Shuffle FetchFailedException 内存溢出 源码级分析解决

某日遇到一个数据倾斜的SQL, 首先想到的方法就是加大Partition 看看数据hash 之后会不会落得 均匀,所以就将spark.sql.shuffle.partitions从原来的500 加大到2700 .结果反而失败了, 错误如下:FetchFailed(BlockManagerId(516, nfjd-hadoop02-node352.jpushoa.com, 7337, None), shuffleId=3, mapId=59, reduceId=917, message=org.apac

2020-06-18 11:53:12 4271 2

转载 Java多线程理解

用Java多线程只有一个目的,那就是更好的利用cpu的资源,因为所有的多线程代码都可以用单线程来实现。说这个话其实只有一半对,因为反应“多角色”的程序代码,最起码每个角色要给他一个线程吧,否则连实际场景都无法模拟,当然也没法说能用单线程来实现:比如最常见的“生产者,消费者模型”。很多人都对其中的一些概念不够明确,如同步、并发等等,让我们先建立一个数据字典,以免产生误会。多线程:指的是这个程序(一个进程)运

2017-07-30 14:32:21 329

原创 String,StringBuffer,StringBuilder之再体验

String的两种创建方式String str1 = "mhb";String str2 = new String("mhb");由于String是不可变类,每当有String对象的创建,java虚拟机都会在String池(位于JVM方法区)里面寻找有没有相应的字符串,没有则创建一个对象如下: //在String常量池里面创建内容为“java”的对象 String s1="

2017-07-28 21:56:34 277

原创 SpringMVC使用Multipartfile上传文件

主要步骤:首先需要导入两个操作所需的Jar包:commons-fileupload-1.2.2.jarcommons-io-2.4.jar1,在form表单设置属性:<form action="${basePath}upload" method="post" enctype="multipart/form-data"> <label>头 像</label><input type="fil

2017-07-18 09:09:50 631

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除