休闲
文章平均质量分 92
细雪-之舞
让人迷茫的原因只有一个,那就是在本应拼搏的年纪想得太多做得太少。
展开
-
Spark性能优化之-数据倾斜
文章目录概述现象和判定方式数据倾斜发生时的现象数据倾斜发生的原理如何定位导致数据倾斜的代码某个task执行特别慢的情况某个task莫名其妙内存溢出的情况查看导致数据倾斜的key的数据分布情况数据倾斜的解决方案解决方案一:使用Hive ETL预处理数据解决方案二:过滤少数导致倾斜的key解决方案三:提高shuffle操作的并行度解决方案四:两阶段聚合(局部聚合+全局聚合)解决方案五:将reduce join转为map join解决方案六:采样倾斜key并分拆join操作解决方案七:使用随机前缀和扩容RDD进行原创 2022-05-19 15:17:54 · 301 阅读 · 0 评论 -
Spark性能优化之-资源调优
文章目录概述Spark作业基本运行原理资源参数调优num-executorsexecutor-memoryexecutor-coresdriver-memoryspark.default.parallelismspark.storage.memoryFractionspark.shuffle.memoryFraction资源参数参考示例概述在开发完Spark作业之后,就该为作业配置合适的资源了。Spark的资源参数,基本都可以在spark-submit命令中作为参数设置。很多Spark初学者,通常不知道原创 2022-05-19 15:14:48 · 327 阅读 · 0 评论 -
Spark性能优化之-开发调优
文章目录概述:原则一:避免创建重复的RDD原则二:尽可能复用同一个RDD原则三:对多次使用的RDD进行持久化Spark的持久化级别如何选择一种最合适的持久化策略原则四:尽量避免使用shuffle类算子原则五:使用map-side预聚合的shuffle操作什么是map-side预聚合:原则六:使用高性能的算子使用reduceByKey/aggregateByKey替代groupByKey使用mapPartitions替代普通map使用foreachPartitions替代foreach使用filter之后进行原创 2022-05-19 15:06:51 · 177 阅读 · 0 评论 -
Spark性能优化之-shuffle调优
spark几种shuffle过程的详细介绍,以及部分spark shuffle调优参数。原创 2022-01-26 11:08:35 · 354 阅读 · 0 评论 -
RocketMq部署与使用
官网文档参考地址:http://rocketmq.apache.org/docs/motivation/安装包下载地址:https://mirror.bit.edu.cn/apache/rocketmq/4.7.0/rocketmq-all-4.7.0-bin-release.zip https://mirrors.tuna.tsinghua.edu.cn/apache/rocketmq/4.7.0/rocketmq-all-4.7.0-bin...原创 2020-05-20 13:44:15 · 990 阅读 · 0 评论 -
hive3.0使用问题小记
1,使用spark读取hive或者使用hive 命令行查询表,发现列名被默认变成了TableName_FileName解决办法:如果通过hive-clinet命令行查询,只想对当前回话生效,执行如下命令即可:> set hive.resultset.use.unique.column.names=false;通过 set hive.cli.print.header = tr...原创 2020-05-06 20:08:05 · 1058 阅读 · 0 评论 -
spring boot 1.x和 2.x通过代码修改默认address和端口
Spring boot 1.x可以通过实现EmbeddedServletContainerCustomizer 接口去实现:@Beanpublic EmbeddedServletContainerCustomizer servletContainerCustomizer() { return new EmbeddedServletContainerCustomizer() { ...原创 2019-05-21 15:43:34 · 880 阅读 · 0 评论 -
guava LoadingCache 的用法
这段代码主要功能是实现使用guava的LoadingCache记录一个ip在一段时间类反复登录失败的次数,如果超过10次则在规定时间(expiration=1800)内禁止登录(Blocked);使用方式比较简单,没事学习用的。引入的pom文件:<dependency> <groupId>com.google.guava</groupId> ...原创 2019-05-07 11:00:19 · 1696 阅读 · 0 评论 -
程序员业余干活收藏
第一个,软件商务网(http://www.bizsofts.com)软件商务网成立于2004年,至今已经开办10年了。这个网站的服务范围比较窄,就是软件开发和网站开发,所以里面聚集的都是专业的软件开发团队或软件公司。这里的外包响应比较快,往往一个需求发布后,2个小时内就有十几人至几十人甚至上百人联系你,是挑选软件开发者的理想的地方。这里发布需求也最为简便,甚至你都不用注册,直接就可以发布需求。方...转载 2018-09-09 22:38:24 · 134 阅读 · 0 评论 -
微信的隐藏功能代码
微信隐藏命令原创 2017-06-23 14:56:45 · 5852 阅读 · 2 评论