- 博客(124)
- 资源 (3)
- 收藏
- 关注
原创 ubuntu 16.04.7LTS安装docker环境,不能人云亦云,不同的环境安装方式可能不同
新买了阿里云服务器,想要做点小服务,于是就考虑使用docker发布服务,那需要先安装docker软件。
2024-08-06 22:50:41
269
原创 Springboot2.6.13整合flowable6.8.1
项目上需要使用到工作流相关内容,比对了好久采用flowable实现,该插件和activiti等很相似,基本上可以直接移植。
2024-07-30 20:35:27
1044
原创 Java使用Graphics2D画图,画圆,矩形,透明度等实现
如上图,需要使用Java生成一个图片, 并以base64编码的形式返回给前端展示。使用Graphics2D类,来进行画图,其中需要画方框、原型、插入图标、写入文字等,同时需要设置透明度等细节点环境:Jdk17,springboot2.7.13。
2024-06-25 16:36:23
636
原创 Springboot jar运行时,将jar内的文件拷贝到文件系统中
因为执行需要,需要把jar内templates文件夹下的的文件夹及文件加压到宿主机器的某个路径下, 以便执行对应的脚本文件PS: 通过类加载器等方式,直接getFile遍历文件,在idea中运行是没问题的,但是当打包成jar运行就会出现问题,因为jar内文件的路径不是真实路径,会出现异常/xxx/xxx。
2024-06-03 11:35:26
431
1
原创 Docker 日志存储大小限制,默认会充爆磁盘
在容器化部署的时候,因为没有指定日志的最大存储时间,导致磁盘被充爆。查看日志 一般使用docker logs -f --tail 行数 容器名称 来查看容器的运行日志,但是在容器被初始化的时候,需要指定日志的最大存储时间,因为docker默认配置中是不限制日志的大小的,会导致磁盘资源被用尽Docker 默认使用 json-file 作为其日志驱动,但并未设置日志文件的大小上限,也就是说,如果不进行额外配置,Docker 日志会持续增长,直到耗尽所有可用的磁盘空间。
2024-03-04 13:39:21
1239
原创 一个JDK镜像通吃所有需要部署的应用,生成多个容器
生产过程中,一个服务制作一个镜像,有点太占用空间,由此,考虑设置一个镜像能支持多个服务的部署,通过文件挂载的模式,通过启动容器时候传递参数实现该需求。
2024-02-22 18:27:45
390
原创 主数据清洗的一般过程
在对主数据进行清洗之前,要先对主数据进行预处理。主数据预处理一般分为两个步骤,包括字段解释、数据来源、代码表等一切描述数据的信息,抽取一部分主数据作为样本数据,通过人工查看,先对主数据有直观的了解,为之后的清洗做准备。下面进入主数据清洗的核心内容,包括缺失值清洗、格式内容清洗、逻辑错误清洗、非需求数据清洗、关联性验证、干净数据回流。
2024-01-19 16:13:37
1055
原创 IOTDB 1.0.1版本单机部署
IOTDB成功在阿帕奇基金会孵化之后,增加了很多功能,测点趋势测点运算聚合等,所以,需要升级之前的数据库,升级方式可见官网文档,博主属于直接跳级安装0.12.1版本安装 见。
2023-04-03 19:07:11
881
1
原创 一招解决windows电脑禁用笔记本自带键盘问题
这段时间,笔记本上总会出现卡顿,鼠标跳跃,桌面闪烁的问题,坚持用了一周之后,情况变的严重了,打开我的电脑,可以弹出很多个窗口出来,导致系统卡死,偶尔能用,我就根据自己对电脑的了解尝试了做下修复
2022-10-21 11:54:28
5268
2
原创 华为云数据盘挂在及mysql数据库数据目录迁移到数据盘
前篇文章中安装了mysql,但是系统盘只有40G,以后肯定不够用,于是,又增加了200G的数据盘,那此时就需要挂在盘,并需要将mysql的数据存储移动到数据盘中
2022-08-31 19:27:18
885
原创 Maven私服的发布和引用-实战问题解决
在工作过程中,都会使用maven私服,将一些常用的不在公网的jar或者是自己公司的搭建的工具进行公司内部共享使用,那就需要发布工具和引用工具,本文中遇到的问题是在发布jar的时候,jar本身依赖的三方包一直加载不上来,经过反复排查,是因为在发布的时候生成的pom文件有问题,主要是因为jar对应的项目中bulid标签中的配置有问题...
2022-08-29 20:05:02
857
原创 Collectors.toMap方法使用时候value报空指针问题解决
针对于集合转换成map的时候出现value为空造成的空指针情况,进行解决在根据学生实体的名称作为key和昵称作为value的时候,当petName为空的时候会出现空指针。
2022-08-09 14:58:24
6002
1
原创 Flink使用api执行sql的时候报错
通过把需要起别名的字段放在第一个位置,或者是在最后统一起别名的方式能够解决。通过不停的尝试是因为标红的位置写的有问题。Flink使用api执行sql的时候报错。具体原因目前未知,记录备查。...
2022-07-18 17:57:31
921
原创 细谈spring 事务不生效的情况
在业务代码中,经常需要保证事务的原子性,但是有的时候,确实是出现事务没有生效,那今天梳理下事务不生效的原因。
2022-07-15 11:51:51
2071
原创 Spark SQL编程之RDD-RDD转换
背景本文使用idea编程spark版本<scala.version>2.11.8</scala.version><spark.version>2.2.0</spark.version><scala.compat.version>2.11</scala.compat.version>备注<ps>Spark中,只有遇到action,才会执行RDD的计算(即延迟计算)</ps>...
2022-04-29 16:35:16
2314
原创 Spark SQL编程之RDD-概述
RDD简述RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark中最基本的数据抽象。代码中是一个抽象类,它代表一个不可变、可分区、里面的元素可并行计算的集合RDD属性RDD官方文档中给出5个主要的属性1 一组分区(Partition),即数据集的基本组成单位 2 一个计算每个分区的函数 3 RDD之间的依赖关系 4 一个Partitioner,即RDD的分片函数 5 一个列表,..
2022-04-28 15:48:10
890
原创 Spark SQL编程之DataSet
DataSet是什么 是Dataframe API的一个扩展,是Spark最新的数据抽象。 具有类型安全检查也具有Dataframe的查询优化特性,API风格更友好 DataSet支持编解码器,当需要访问非堆上的数据时可以避免反序列化整个对象,提升效率 样例类被用来在Dataset中定义数据的结构信息,样例类中每个属性的名称直接映射到DataSet中的字段名称 Dataframe是Dataset的特列,DataFrame=Dataset[Row],所以可以通..
2022-04-24 17:32:11
1425
原创 Spark SQL编程之DataFrame
Spark SQL特性易整合 统一的数据访问方式 兼容hive 标准的数据链接Spark SQL是Spark用来处理结构化数据的一个模块,它提供了2个编程抽象:DataFrame和DataSet,并且作为分布式SQL查询引擎的作用SparkSession创建在老的版本中,SparkSQL提供两种SQL查询起始点:一个叫SQLContext,用于Spark自己提供的SQL查询;一个叫HiveContext,用于连接Hive的查询。SparkSession是Spark...
2022-04-24 17:07:41
2327
原创 SparkSql中不能使用select($“name“, $“age“ + 1)报错的问题解决
背景在进行sparksql编程的时候,使用select($"name", $"age" + 1)会出险报错的情况,目的参数Column类型,但是报错如下图版本:<scala.version>2.11.8</scala.version><spark.version>2.2.0</spark.version><scala.compat.version>2.11</scala.compat.version>..
2022-04-24 14:30:44
2148
原创 SparSql 中DataFrame出现_corrupt_record问题解决(DataFrame多行读取JSON数据问题解决)
背景在使用sparksql创建DataFrame的时候,读取的数据包含_corrupt_record,在操作过程中产生错乱的问题,代码如下 <!-- 版本 --> <properties> <encoding>UTF-8</encoding> <scala.version>2.11.8</scala.version> <spark.version>2..
2022-04-24 11:15:20
1363
原创 黑白棋及回退功能实现(scala)
背景如下图,如何使用程序实现每个棋子在棋盘上的位置,如何记录上一步的棋盘盘面(回退),采用什么数据结构实现思考:棋盘盘面是一个二维表,应该是一个二维数组,因为这个二维数组很多默认值是0,因此这里可以引入稀疏数组的概念稀疏数组和二维数组的关系思路1.默认棋盘是空(一个默认值为0的二维数组)2.下了黑棋的位置就改为1,白棋子的位置改为23.每一次的操作都记录为一个稀疏数组保存起来,为回退取值做准备代码package com.example...
2022-04-19 20:09:27
514
原创 Scala核心编程(12)- 模式匹配
match介绍Scala中的模式匹配类似于Java中的switch语法,但是更加强大。模式匹配语法中,采用match关键字声明,每个分支采用case关键字进行声明,当需要匹配时,会从第一个case分支开始,如果匹配成功,那么执行对应的逻辑代码,如果匹配不成功,继续执行下一个分支进行判断。如果所有case都不匹配,那么会执行case _ 分支,类似于Java中default语句。应用案例 val category: String = "vip" category ma..
2022-04-14 17:45:40
256
原创 Scala核心编程(10)-集合(上)
集合简介Scala同时支持不可变集合和可变集合 两个主要的包:不可变集合:scala.collection.immutable(类似java中数组) 可变集合: scala.collection.mutable (类似java中ArrayList)Scala默认采用不可变集合,对于几乎所有的集合类,Scala都同时提供了可变(mutable)和不可变(immutable)的版本 Scala的集合有三大类:序列Seq、集Set、映射Map,所有的集合都扩展...
2022-04-07 20:13:10
465
原创 Java8中flatMap使用以及和map的区别
flatMap<R>Stream<R>flatMap(Function<? super T,? extends Stream<? extends R>>mapper)返回由通过将提供的映射函数应用于每个元素而产生的映射流的内容来替换该流的每个元素的结果的流。每个映射的流在其内容被放入此流之后是closed。(如果映射的流是null则使用空的流)。flatMap()操作具有对流的元素应用一对多变换,然后将所得到的元素平坦化为新流的效果...
2022-03-22 16:37:10
3137
原创 一个案例弄懂文件秒传和文件断点续传的内部实现逻辑
背景最近有人问我百度云盘或者是阿里云盘等是怎么做到文件秒传的,对于大文件如果因为网络原因是否能做到断点续传。因此,我想写个文章记录下我对这个两个问题的验证和解答。相关概念秒传秒传是一种在网盘上常见的“忽略式”上传方式,是指文件传输速度非常快。当用户向网盘中上传文件时,服务器会判断当前存储中是否有该文件,如果文件不存在就执行上传操作,如果已经存在了该文件,那就直接忽略该文件的上传,提示用户文件已经秒传,并将找到的文件链接引用给该用户(方便在使用的时候找到文件)MD5...
2022-02-15 15:26:45
604
原创 基于RabbitMQ实现的订单超时功能-记录备查
背景做过电商系统的人都会遇到一个场景,就是下了订单之后,订单支付会有一个有效期,超时订单自动关闭。实现的技术有很多,再次讨论基于RabbitMQ进行实现思路这个是基于RabbitMQ的延迟队列实现的,那需要讨论下什么是延迟队列延迟队列延迟队列存储的对象是对应的延迟消息,所谓“延迟消息”是指当消息被发送以后,并不想让消费者立刻拿到消息,而是等待特定时间后,消费者才能拿到这个消息进行消费 。PS: 在 AMQP 协议中,或者 RabbitMQ 本身没有直接支持延迟队列的功...
2021-12-14 20:14:21
2722
原创 Idea 使用git操作特别卡问题解决
背景Java开发使用Idea2021.1版本,使用git版本操作的时候,特别卡,有时候甚至卡几分钟,搜索了很多资料,找到以下方式能解决。解决方案找到idea的安装目录找到标注的两个文件,并更改其他名称或直接删除,然后重试,是否能解决PS:有些不需要重启也能生效,但是有些需要重启idea,(两个文件都需要处理哦)...
2021-12-02 16:28:24
3481
6
原创 IDEA2021类明明存在但是却报错的解决方式
背景在使用idea 2021开发工具的时候,遇到过两次引用的的类虽然存在,但是却报错该类不存在的情况原因分析1,有可能是maven依赖下载的不正确2,有可能是因为开发工具缓存的问题解决方式刷新maven依赖或者是使用mvn clean命令将依赖清理之后重新加载清理缓存联想因为开发工具已经使用的很久,缓存历史比较多,也有可能会导致开发工具比较开,本人的情况是,清理了缓存使得开发也更加顺畅一些...
2021-09-24 17:56:09
7977
1
Pi数据库驱动包 PIJDBCDriver.jar
2019-12-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人