- 博客(38)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 spark不同结构Dataset合并
原本zipWithIndex()之后的格式为JavaPairRDD 但是我们需要转换一下结构为JavaPairRDD 为后续的join操作做准备，因为join关联数据使用的是JavaPairRDD中的T字段。由于这两个Dataset的结构和数据量均不一样，若要拼接为一个大的Dataset，可以把每个Dataset多生成一个自动增长编号的列，这里最快的方式是使用每行数据的索引号，则需要转换为RDD操作。然后创建出新的Dataset
2023-12-05 13:56:30
323
原创 Spark SQL自定义collect_list分组排序
2.使用struct和sort_array(array,asc?想要在spark sql中对group by + concat_ws()的字段进行排序，可以参考如下方法。这种方式在大数据量下性能会比较慢，所以尝试下面的操作。因为使用开窗函数本身会使用比较多的资源，
2023-11-07 16:07:03
1144
原创 华为算法机试--用户调度问题
第一行记录一个用半角逗号分隔的数组，数组长度不超过1000，数组元素的值不超过1000，时间2：执行类型3的任务（因为冷却时间为2，所以时间2不能执行类型2的任务）。第二行记录任务冷却时间，N为正整数，N
2022-12-20 12:01:36
168
原创 提高千倍效率的 Java 代码小技巧
代码优化细节1、尽量指定类、方法的final修饰符带有 final 修饰符的类是不可派生的。在 Java 核心 API 中，有许多应用 final 的例子，例如 java.lang.String，整个类都是 final 的。为类指定 final 修饰符可以让类不可以被继承，为方法指定 final 修饰符可以让方法不可以被重写。如果指定了一个类为 final，则该类所有的方法都是 final 的。Java 编译器会寻找机会内联所有的 final 方法，内联对于提升 Java 运行效率作用重大，具体参见 J
2021-12-05 18:02:03
499
原创 52条SQL语句，性能优化
1， 对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2，应尽量避免在 where 子句中对字段进行 null 值判断，创建表时NULL是默认值，但大多数时候应该使用NOT NULL，或者使用一个特殊的值，如0，-1作为默 认值。3，应尽量避免在 where 子句中使用!=或<>操作符， MySQL只有对以下操作符才使用索引：<，<=，=，>，>=，BETWEEN，IN，以及某些时候的LIKE。4，应尽量避免在
2021-12-05 18:00:07
77
原创 再见MybatisPlus，阿里推出新ORM框架
使用fluent mybatis可以不用写具体的xml文件，通过java api可以构造出比较复杂的业务sql语句，做到代码逻辑和sql逻辑的合一。不再需要在Dao中组装查询或更新操作，在xml或mapper中再组装参数。那对比原生Mybatis, Mybatis Plus或者其他框架，FluentMybatis提供了哪些便利呢？需求场景设置我们通过一个比较典型的业务需求来具体实现和对比下，假如有学生成绩表结构如下:create table `student_score`( id
2021-12-05 17:49:09
213
原创 Java异步调用的几种方式
一、通过创建新线程首先的我们得认识到，异步调用的本质，其实是通过开启一个新的线程来执行。如以下例子：public static void main(String[] args) throws Exception{ System.out.println("主线程 =====> 开始 =====> " + System.currentTimeMillis()); new Thread(() -> { System.out.println("异步线程 ==
2021-12-05 17:32:10
567
1
原创 RabbitMQ如何保证消息的可靠性
1、保证消息不丢失(三步)1.1、开启事务(不推荐)1.2、开启confirm(推荐)1.3、开启RabbitMQ持久化(交换机、队列、消息)1.4、关闭RabbitMQ自动ack(改成手动)2、保证消息不重复消费2.1、幂等性(每个消息用一个唯一标识来区分，消费前先判断标识有没有被消费过，若已消费过，则直接ACK)3、RabbitMQ如何保证消息的顺序性将消息放入同一个交换机，交给同一个队列，这个队列只有一个消费者，消费者只允许同时开启一个线程4、RabbitMQ消息重试机制消费者在消
2021-12-05 17:19:44
1332
原创 ThreadLocal的使用场景及使用方式
两大使用场景-ThreadLocal的用途典型场景1： 每个线程需要一个独享的对象（通常是工具类，典型需要使用的类有SimpleDateFormat和Random）典型场景2： 每个线程内需要保存全局变量（例如在拦截器中获取用户信息），可以让不同方法直接使用，避免参数传递的麻烦。典型场景1：每个线程需要一个独享的对象每个Thread内有自己的实例副本，不共享；举例：SimpleDateFormat。（当多个线程共用这样一个SimpleDateFormat，但是这个类是不安全的）2个线程分别用自己
2021-12-05 17:18:13
4640
2
原创 JVM调优总结 -Xms -Xmx -Xmn -Xss
堆大小设置JVM 中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。32位系统下，一般限制在1.5G~2G；64为操作系统对内存无限制。我在Windows Server 2003 系统，3.5G物理内存，JDK5.0下测试，最大可设置为1478m。典型设置：java -Xmx3550m -Xms3550m -Xmn2g -Xss128k-Xmx3550m：设置JVM最大可用内存为3550M。-Xms3550m：设置J
2021-12-05 16:38:55
105
原创 Redis 大数据量（百亿级）Key存储需求及解决方案
一 需求背景该应用场景为DMP缓存存储需求，DMP需要管理非常多的第三方id数据，其中包括各媒体cookie与自身cookie（以下统称supperid）的mapping关系，还包括了supperid的人口标签、移动端id（主要是idfa和imei）的人口标签，以及一些黑名单id、ip等数据。在hdfs的帮助下离线存储千亿记录并不困难，然而DMP还需要提供毫秒级的实时查询。由于cookie这种id本身具有不稳定性，所以很多的真实用户的浏览行为会导致大量的新cookie生成，只有及时同步mapping的数
2021-12-05 16:36:18
435
原创 MySQL性能优化指南
说起MySQL的查询优化，相信大家收藏了一堆：不能使用SELECT *、不使用NULL字段、合理创建索引、为字段选择合适的数据类型… 你是否真的理解这些优化技巧？是否理解其背后的工作原理？在实际场景下性能真有提升吗？我想未必。因而理解这些优化建议背后的原理就尤为重要，希望本文能让你重新审视这些优化建议，并在实际业务场景下合理的运用。一、MySQL逻辑架构如果能在头脑中构建一幅MySQL各组件之间如何协同工作的架构图，有助于深入理解MySQL服务器。下图展示了MySQL的逻辑架构图。MySQL逻辑架
2021-12-05 16:32:23
158
原创 优化SQL语句方案
1.分析MySQL服务器当前的状态信息SHOW SESSION STATUS;SHOW SESSION STATUS LIKE 'Com_%' //当前会话下所有语句类型的执行次数//可以了解当前应用是以插入更新为主,还是以查询操作为主，以及各种SQL类型的执行比例大概是多少SHOW SESSION STATUS LIKE 'InnoDB_rows%' 2.定位执行效率比较低的SQL语句(1) 慢查询日志查看当前慢查询日志功能是否开启SHOW VARIABLES LIKE '%slo
2021-12-05 15:57:35
380
原创 基于SpringBoot的图书管理系统[毕业设计]
基于SpringBoot的图书管理系统[毕业设计]前言该图书管理系统是基于SpringBoot的项目，包含源码和非正式论文，下载地址：项目介绍基于SpringBoot 的图书管理系统，主要包括系统管理、图书管理、借阅者管理三部分功能模块组织结构项目结构的一些简单说明├─src│ ├─main│ │ ├─java│ │ │ └─io│ │ │ └─mvc│ │ │ └─web│ │ │ └─
2021-11-21 09:27:59
4228
原创 java实现二分查找树及其相关操作
java实现二分查找树及其相关操作二分查找树（Binary Search Tree）的基本操作有搜索、求最大值、求最小值、求前驱、求后继、插入及删除。对二分查找树的进行基本操作所花费的时间与树的高度成比例。例如有n个节点的完全二叉树，对它进行的基本操作的时间复杂度为O(logn)。然而，如果树是一个有n个节点的线性的链，则在这种情况下的时间复杂度为O(n)。1、什么是二分查找树二分查找树是一种有组织的二叉树。我们可以通过链接节点表示这样一棵树。每个节点包含键（key），数据（data），左子节点（l
2021-10-31 19:34:56
336
原创 利用注解+反射实现通用Excel导入导出功能
利用注解+反射实现通用Excel导入导出日常在做后台系统的时候会很频繁的遇到Excel导入导出的问题，正好这次在做一个后台系统，就想着写一个公用工具来进行Excel的导入导出。一般我们在导出的时候都是导出的前端表格，而前端表格同时也会对应的在后台有一个映射类。所以在写这个工具的时候我们先理一下我们需要实现的效果：导出方法接收一个list集合，和一个Class类型，和HttpServletResponse 对象导出是可能会有下拉列表，所以需要一个map存储下拉列表数据源，传入参数后只需一行代码即可导
2021-10-31 19:06:31
348
1
原创 谈谈mysql的十一种锁吧
谈谈mysql的十一种锁吧1.1 表锁1.2 行锁1.3 共享锁（读锁，S锁）1.4 排它锁（写锁,X锁）1.5意向锁1.6 乐观锁1.7 悲观锁1.8 间歇锁1.9记录锁1.10临键锁1.11 死锁1.1 表锁表级锁是mysql锁中粒度最大的一种锁，表示当前的操作对整张表加锁，资源开销比行锁少，不会出现死锁的情况，但是发生锁冲突的概率很大。该锁定机制最大的特点是实现逻辑非常简单，带来的系统负面影响最小。所以获取锁和释放锁的速度很快。由于表级锁一次会将整个表锁定，所以可以很好地避免困扰我们的死锁问题。I
2021-09-28 17:21:06
104
原创 基于Springboot+Vue+Layui校园招聘系统毕业设计
基于Springboot+Vue+Layui校园招聘系统毕业设计项目简介：本项目采用前后端分离开发，springboot+mybatis-plus+shiro+maven+mysql+vue管理员：具备系统所有的功能权限。用户角色主要分为：企业方、求职方。求职方：可以在线创建自己的个人简历信息并且针对自己适合的职位进行投递或者收藏等功能。企业方：发布职位、信息认证、查看简历、邀请面试等功能文档结构：admin文件为vue项目管理端，需安装npm后，cmd进入该目录，运行命令：npm ins
2021-05-04 14:07:39
4046
4
原创 spring boot招聘系统设计
spring boot招聘系统设计项目简介项目截图项目简介该项目是基于SpringBoot实现的企业招聘系统，应用于求职者投递简历，公司HR进行审核。主要涉及技术包含Maven、Spring、SpringBoot、MyBatis、Redis等。项目前端模板引擎使用Thymeleaf，数据源使用Druid。具体部署1、开发工具的选择本项目使用 Intellij IDEA 2019.3.5 版本开发，若使用 Eclipse/MyEclipse导入项目，请注意文件编码为UTF-8，以避免乱码。2、
2021-05-01 17:15:03
1101
1
原创 基于SpringBoot招聘系统毕业设计
基于SpringBoot招聘系统基于Springboot+MySQL+bootstrap开发的在线招聘系统，包括用户端和管理员端; 前台主要功能登录/注册,在线简历与上传，问答中心，职位推荐; 管理员端主要功能有：用户管理、简历管理，职位管理，问答管理等运行环境：jdk8+mysql5.*+Eclipse+maven项目技术：Springboot+mybatis+bootstrap+jquery演示部分项目以及运行截图项目结构用户端主页社招模块校招模块登录/注册在线简历/上
2021-03-26 20:28:48
2474
3
原创 基于SSM校园学术报告管理平台毕业设计文案及源码
基于SSM校园学术报告管理平台毕业设计最新项目：基于SSM校园学术报告管理平台论文目录：摘 要 4Abstract: 5第一章 绪论 61.1开发背景 61.2开发意义 61.3开发目标 6第二章 选题方案对比 7第三章 技术及开发工具简介 73.1 Javascript技术简介 73.2 JQuery-bootstrapUI技术简介 83.3 SSM框架 83.4 M...
2020-01-12 10:18:27
1714
原创 解决mave的Maven Dependencies中ojdbc6.jar missing问题
解决mave的Maven Dependencies中ojdbc6.jar missing问题(1)maven环境变量配置把下载好的maven加压放在一个目录下，然后配置环境变量：我的电脑->右击->属性->高级系统设置->环境变量在“系统变量”栏中新建变量：变量名：MAVEN_HOME变量值：E:\maven\apache-maven-3.5.0 (刚刚解压的路...
2020-01-02 11:37:08
301
原创 Spring boot集成Redis的问题
Spring boot集成Redis的问题（1）RedisTemplate类不能使用的问题虽然在pom.xml文件中加入的redis的相关依赖：<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-redi...
2020-01-02 09:34:16
331
原创 关于SimpleDateFormat的一个小坑
关于SimpleDateFormat的一个小坑SimpleDateFormat跨年度问题：今天XX交易平台客户反馈落库的日期异常，本应该落库数据20191231-08:30:00.000，结果落库数据是20201231-08:30:00.000，在排除服务器系统时间正常后，视角落在了SimpleDateFormat 格式化上先上代码：代码中通过YYYYMMdd-HH:mm:ss.sss 格...
2019-12-31 13:19:55
227
1
原创 八个排序算法的简单比较
笔/面试需要了解的排序算法1.最不稳定的排序----快速排序快速排序有两个方向，左边的i下标一直往右走，当a[i] <= a[center_index]，其中center_index是中枢元素的数组下标，一般取为数组第0个元素。而右边的j下标一直往左走，当a[j] > a[center_index]。如果i和j都走不动了，i <= j, 交换a[i]和a[j],重复上面的过程...
2018-10-11 16:48:28
148
原创 初识Activiti----activiti的25张表
初识Activiti什么是Activiti?1.背景介绍Activiti是新的基于Apache旗下开源业务流程管理(BPM)平台，将是一种轻量级，可嵌入的BPM引擎，而且还设计适用于可扩展的云架构。2.Activiti的25张表Activiti的运行支持，必须要有Activiti的25张表，主要是在流程运行过程中，记录存储一些参与流程的用户主体，组，以及流程定义的存储，流程执行时候的一...
2018-10-11 11:45:51
1560
基于Springboot+Vue+Layui校园招聘系统设计源码及文案
2021-05-04
spring boot招聘系统设计
2021-05-01
基于SSH选课系统[内含源码]
2021-03-23
基于Spring Boot招聘系统平台[内含源码及毕业设计文案]
2021-03-23
SSM校园学术报告管理平台(内含源码与毕业设计)
2021-01-21
学生信息管理系统student.zip
2021-01-21
javaweb学生成绩管理系统_ssms.zip
2021-01-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人