- 博客(5)
- 收藏
- 关注
原创 Java包装类==问题分析
举例:Integer x = new Integer(4);JDK1.5以后,简化了定义方式。,可以直接写成:Integer x = 128;//自动装箱。通过valueOf,但注意 127>x>-128时装箱时候,指定一个数组进行缓存装箱对象。自动装箱:程序在应该使用对象的地方,使用了基本数据类型的数据,编译器把该数据自动包装成包装类的对象。x = x + 5;//自动拆箱。通过intValue方法拆箱,让值进行相加,再进行装箱给X对象。自动拆箱:程序在应该使用基本数据类型的地
2021-12-10 11:37:01
366
原创 spark源码分析-Standalone Cluster模式源码分析,driver,executor开启,如何idea 运行spark应用
史上最全面的spark源码分析,独一无二的分析,让你彻底明白spark 如何开启driver,以及什么时候会开启executor。本文使用spark3.0.1提供计算π 的案例进行演示 ,运行调度Standalone Cluster模式。演示步骤如下:启动master,ip:169.254.150.140启动worker:传参 spark://169.254.150.140:7077环境变量设置:调试的时候会报错java.lang.IllegalStateException: Cannot fin
2021-02-17 14:47:31
2865
6
原创 spark源码分析,master如何开启,master和worker是怎么通信
master的开启,开启了master,会在本机开启master netty服务端,用来接收远程或者本地客户端发送数据,再对master服务进行绑定。开启流程如:https://blog.csdn.net/LinkStars/article/details/112982187spark源码学习 -worker启动消息通信,inbox,outbox创建netty 服务端发送消息:master消息接收会存放到master 的inbox中,master 的inbox会不断轮询进行process,master
2021-01-31 12:34:36
941
6
原创 spark源码学习 -worker启动消息通信,inbox,outbox创建
注意:建议各位看如下代码,一定要导入一份源码到自己本地电脑中哦,可以导入进行调试。流程代码我删除许多,保留重点。本章主要介绍的是,worker 开启,并与master通信流程,以及inbox收件箱outbox发件箱的创建。认真学习你可以收获许多哦,举例使用该inbox,outbox处理模式,可以嵌入到聊天程序当中哦,处理高并发请求。废话不多说,进入主题。park业务操作和数据传输相隔里,数据传输就交给netty,netty不涉及业务,提高netty服务器的响应时间,提高代码的复用性,降低耦合性。wor
2021-01-22 18:02:54
4441
10
原创 Cognos 优化-大数据量的报表
大数据量的报表如何优化?第一步:数据能持久化的尽量持久化,比如关联的维度表。第二步:优化sql,优化数据存储不要有数据倾斜。优化sql,一定要把Cognos自动生成的sql拷贝出来,查看能优化的地方。数据倾斜方面看各数据库的部署,是否是多节点负载均衡。第三步:报表sql并行化处理,针对大数据量报表展示(举例100万数据量,展现字段接近上百,有大量开窗函数处理汇总,未处理前1分30秒),对sql拆分,处理方案查询字段,汇总字段,性能可以提升到 只查询汇总的字段的时间。那sql是如何拆分呢?请看如下前
2021-01-20 23:46:48
866
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人