- 博客(114)
- 收藏
- 关注
RSS订阅原创 记一次极限的OPTIMIZE TABLE 经历
可以通过OPTIMIZE TABLE 回收掉没有在使用的磁盘空间碎片，但需要提前预估好供其“倒腾“使用的空间。
2024-09-05 11:28:37
440
原创 将python项目打包成一个可执行文件（包含需要的资源文件）
项目源码是采用Python编写，代码中需要读取部分资源文件。现在需要将项目打包成一个exe文件，没有其他任何多余文件，仅1个exe文件。
2024-09-03 11:06:45
570
原创 Clickhouse Code: 173. xxxxx DB::Exception: Couldn‘t allocate 21 bytes when parsing JSON: While xx
我这里是使用Clickhouse对接Kafka消息，建立源表，物化视图并把数据存至目标表。在物化视图中需要对消息进行解析提取关键字段，用到了Clickhouse中的JSONExtractString函数，问题就出在这里。
2024-08-02 17:45:41
174
1
原创 @SchedulerLock注解使用
name任务唯一标识。最重要的参数。同一个name的任务，同一个时刻，多个线程只会有一个线程获取到锁。其他没有获取到锁的线程会跳过，不会阻塞等待。持有锁的最短时间。这个主要是防止不同节点时间存在误差，比如有个任务是0点执行，节点1的时间是准的，在0点执行花了30秒执行完成。节点2的时间比节点1慢了1分钟，那么节点2到0点的时候，又执行了一次任务。这个参数可以设置10秒、30秒等。保证不同节点的时间戳不会出现。持有锁的最长时间。主要是为了防止死锁。
2024-08-02 16:59:34
478
原创 @Scheduled注解定时任务未按时执行问题记录
经排查原因是因为每分钟执行一次的任务，在1分钟内执行不完，且@Scheduled注解底层虽然是使用线程池，但是线程池中默认只有一个线程！在0点的时候前面还有很多1分钟执行一次的任务没执行完，导致在0点执行的任务阻塞，直到前面阻塞的任务都执行完，1点多才执行0点的任务。在一个项目中多处使用了@Scheduled注解，有些任务是1分钟执行一次，有些任务是每天凌晨0点执行一次。但是发现本该在凌晨0点执行的任务在0点并没有执行，而是在凌晨1点多才执行，而且每次执行的时间还不一样。也可以向下边一样注入配置类即可。
2024-08-02 16:13:13
251
原创 Mongo删除数据 释放空间
最近因为业务需要，需要对Mongo数据库一个collection的一个字段进行调整。该字段本来存储了A,B,C 3个内容，现在需要将A,B,C3个内容分别存到3个字段，并把原字段删掉。这样做了以后，直觉上感觉数据占用磁盘大小应该不会变，因为数据还是那么多数据，只不过分开存储了，原来字段删了。但这样做完以后发现数据占用的空间几乎变大了1倍，已删除的数据磁盘空间没有得到释放。最后，发现mongo占用的内存也很大，我直接重启了mongo服务，发现内存占用变小了很多。显示结果如下：磁盘空间成功释放了5个多G。
2024-05-08 17:13:05
368
原创 Cause: com.mysql.cj.jdbc.exceptions.PacketTooBigException: Packet for query is too large
查阅后发现问题是由于max_allowed_packet参数引起的，该参数是指mysql服务器端和客户端在一次传送数据包的过程当中最大允许的数据包大小。一次插入的数据超过了max_allowed_packet，则会数据库保存失败，报出异常。我这里是批量插入多条数据，数据条数目测有个几千条，数据大小超过了阈值。网上解决方案是修改max_allowed_packet的值，调大这个值，临时修改或者永久修改都可以。比如之前一次插入5000条数据，我这里改成一次插入500条，分10次插入就ok了。
2024-04-17 16:28:12
536
1
原创 Spring.Shell.History内置命令覆盖
最近工作上遇到的一个小问题，在Spring Shell中，我们可以自己定义一些命令，已完成我们想要的功能，也可以使用内置命令如help、history、clear。但当一些内置命令达不到我们想要的功能时，就需要对其进行重新。如本次遇到的histroy命令，显示的格式是一个List列表，所有命令在一行。而我想要其以每一条命令一行的格式输出，就需要对其进行覆盖。
2024-01-19 18:42:08
490
1
原创 《微服务架构设计模式》之三：微服务架构中的进程通信
正如刚才所见，你无法使用服务的IP地址静态配置客户端。相反，应用程序必须使用动态发现机制。服务发现的关键组件是服务注册表，它是包含服务实例网络位置信息的一个数据库。服务实例启动和停止时，服务发现机制会更新服务注册表。当客户端调用服务时，服务发现机制会查询服务注册表以获取可用服务实例的列表，并将请求路由到其中一个服务实例。服务及其客户直接与服务注册表交互通过部署基础设施来处理服务发现消息是由消息头部和消息主体组成。消息有几种不同类型的消息。文档：仅包含数据的通用消息。接收者决定如何解释它。
2023-11-07 18:48:00
297
原创 prysm-beacon-chain节点报错：Caught SIGILL in blst_cgo_init, consult ＜blst＞/bindinds/go/README.md. #12567
重新拉取镜像ethereum/client-go、 prysmaticlabs/prysm-beacon-chain，启动容器后发现ethereum/client-go正常，但是 prysmaticlabs/prysm-beacon-chain启动失败打出日志：Caught SIGILL in blst_cgo_init, consult /bindinds/go/README.md. #12567。经过排查，没找到具体原因，两台机器用的配置也相似，可能和硬件有关系。知道的朋友麻烦评论区告诉我一下。
2023-09-28 18:10:36
252
原创 修改 docker 容器的启动参数
工作中我们经常遇到docker容器运行一段时间后(PS:自己都遇到好几次了，每次都百度，所以这次自己记一下0.0)，因为各种原因需要调整启动参数的情况。这时候如果启动一个新容器往往比较麻烦，除了启动新容器外，我们还可以通过修改当前容器的配置文件，一样可以达到目的。因为需要停止docker，（亲测一定要停止docker，不然配置文件自己改的配置文件在容器重启后又变成原来的了），所以我们先停止所有容器。没有影响，一般不用管。列表中是否有你要修改的参数，修改后记得保存。是切出所有容器id的，自己可以试试。
2023-09-25 19:40:23
956
原创 Geth无法获取早期block的transaction信息
我的节点是用docker方式搭建的，需要停止容器，在/var/lib/docker/containers/容器id/config.v2.json+配置文件的Args和Cmd中添加参数 --node.tx-lookup-limit=0， 重新启动即可。这个参数只适用arb，不同链参数名字不同，值代表的意思也可能不同，如在以太坊里这个参数叫这个 --txlookuplimit。需要在启动参数上加上参数 --node.tx-lookup-limit=0 0表示建立索引交易的索引。
2023-09-25 16:20:27
223
原创 六边形架构原文翻译：Hexagonal Architecture: three principles and an implementation example
在看《微服务架构设计模式》第二章时，作者提到了六边形架构，书中对六边形架构介绍不多，本人查阅资料后，找到这篇文章，个人感觉讲的很棒，遂翻译之。六边形架构也是一种架构风格，但与分层架构不同，六边形架构不是上下分层，而是内外分层，内层是业务逻辑，外层是入站适配器和出站适配器，或者叫用户端和服务端。入站适配器通过调用入站端口处理。出站适配器实现出站端口，并通过调用外部应用程序或服务处理来自。
2023-09-20 18:31:08
458
原创 《微服务架构设计模式》第二章
因此，架构风格根据结构组织模式定义了一系列此类系统。更具体地说，架构风格确定可以在该风格的实例中使用的组件和连接器的词汇表，以及关于如何组合它们的一组约束。太抽象了。。如何定义一个微服务架构呢？文章中介绍了一个三部式流，世界上没有一个完美的机械化方法可以遵循，这个也只是大概方法， 现实中还需要不断的迭代。定义系统操作根据功能性需求文档，定义系统可以提供的操作。如FTGO中，顾客需要下单，那么系统就需要提供需要提供让顾客下单的操作；而商家需要接单，那么商家还需要提供给可以让接单的操作。定义服务。
2023-09-10 18:37:46
755
原创 《微服务架构设计模式》第一章
作者用国外FTGO公司（一家做线餐饮外卖）的应用程序举例，阐述了单体架构的优缺点。FTGO应用架构如下：应用程序是单体应用，具有六边形架构，最内侧是业务逻辑，包含订单管理、配送管理、用户管理等。业务逻辑外边是实现用户界面的适配器和与外部系统对接的适配器。外部系统如：消息服务、邮件服务、支付服务、数据库。通过这些适配器，业务逻辑可以访问数据库，调用外部服务。
2023-09-05 16:23:57
1010
原创 Ethereum&Arbitrum&Optimism节点搭建
Ethereum节点搭建可基于源码或基于docker。这里介绍基于docker的方式搭建。建议将镜像源配置为阿里云的镜像源启动容器数据默认存放在 容器的~/.ethereum/目录下 可添加参数 --datadir 指定目录，这里使用 -v参数挂载文件，将数据存放在/data/eth下。容器启动后需等待几分钟到几十分钟可能才会开始同步数据。可通过进入geth客户端进入查看同步情况。
2023-08-11 18:32:49
1266
原创 Pytorch 神经网络backword()理解
看了很多篇文章，感觉下边这篇写的最清楚。https://www.jianshu.com/p/cbce2dd60120个人理解：在神经网络中计算中，输入、输出、中间输出值、和模型参数，都看做变量。在反向传播中，backword()函数可以计算变量的梯度、前提是这个变量是不是中间输出值、输出。就是文中所说的没有creater 。具体到神经网络中，模型参数是一开始就有的所以我们可以计算得到...
2019-10-24 17:30:33
1359
1
原创 mutex destroy while busy
问题原因 ，锁在busy中被销毁。可能出现的问题是 mutex执行完lock并没有被unlock就出问题了 比如说{mutex m;int a;m.lock()a = 1if(a>0)return;m.unlock（）}若m没有被unlock 销毁锁的内存则会出错！...
2019-09-24 22:38:28
1279
原创 YoloV3学习总结
汇报整理的ppt参考：史上最详细的Yolov3边框预测分析 - 逍遥王的博客 - CSDN博客一文看懂YOLO v3 - litt1e的博客 - CSDN博客关于YOLOv3的一些细节 - 简书理解yolov3的anchor、置信度和类别概率 - DLUT_yan的博客 - CSDN博客等...
2019-09-24 22:28:43
432
原创 python parser.add_argument() action
1:parser.add_argument('--xxxx', action='store_true', help='.....') 2:parser.add_argument('--xxxx', action='store_true',default =ture, help='.....')3:parser.add_argument('--xxxx', action='store_true...
2019-09-19 10:53:43
2260
原创 机器学习&深度学习 -收藏文章链接
转载：1：T-SNE 算法http://bindog.github.io/blog/2016/06/04/from-sne-to-tsne-to-largevis/2：朴素贝叶斯算法https://www.cnblogs.com/lliuye/p/9178090.html3：如何感性地理解EM算法？（讲的不错）https://www.jianshu.com/p/11215...
2019-07-28 21:33:59
135
原创 读论文OCGAN: One-class Novelty Detection Using GANs with Constrained Latent Representations
OCGAN 的目的在于使得正常类输入样本real经过编码、解码后得到的fake与输入real尽可能的相似。并且强制经过编码后得到潜在空间服从均匀分布，实现方法是用gan。这样异常输入经过编码得到向量也会服从均匀分布，解码后得到的fake会像正常类。比如说数字2作为正常类训练，数字8作为异常。数据8输入模型得到重构图像fake会像数字2。这样输入与输出差别会比较大，相对数字2输入和得到的数字2输...
2019-05-17 21:38:05
3741
2
转载 Windows下深度学习标注工具LabelImg安装和使用指南
转载：https://kuaibao.qq.com/s/20181011G24GKR00?refer=cp_1026Windows下深度学习标注工具LabelImg安装和使用指南文章来源：企鹅号 - GIS咖啡LabelImg是用于制作VOC数据集时，对数据集进行标注的工具。系统：win10软件：anaconda31.安装anaconda3没有安装anaconda3的，...
2019-04-07 21:56:15
1166
原创 《数字图像处理》之图像分割
因为要讲，自己做的ppt，《数字图像处理》第10章前三节： 部分博客参考于：https://blog.csdn.net/yuyuntan/article/details/80141392https://blog.csdn.net/qq_18815817/article/details/78625845https://blog.csdn.net/u013165921/article/...
2018-11-12 22:18:44
325
原创 第2章 模型评估与选择
2.1经验误差与过拟合 通常我们把分类错误的样本数占总数的比例称为“错误率”，即如果在m个样本中由a个样本分类错误，则错误率E = a/m;相应的，1-a/m称为精度.更一般的我们把学习器的实际预测输出的样本的真实输出之间的差异称为“误差”，学习器在训练集上的误差称为训练误差，在新样本上的误差称为“泛化误差”.我们当然希望得到误差小的学习器.然而，我们事先并不知道新样本是什么样的，实际...
2018-11-06 22:19:17
266
原创 1.2 机器学习的应用实例
1.2.1 关联性 在零售业中，例如超市连锁店，机器学习的一个应用是购物篮分析它的任务是发现顾客所购买商品之间的关联性：如果人们在购买商品X时候，也购买商品Y ，而有一名顾客购买了商品X确没有购买商品Y ,则他即是商品的潜在客户。1.2.2 分类在信用评分中， 银行要计算给定信贷额度的客户信息情况下的风险，客户信息包括我们已经获取的数据以及与计算客户财力相关的数据，即收入，存款等...
2018-10-28 21:23:31
538
转载 基于OpenCV的裂缝检测和测量
收藏转载：https://blog.csdn.net/FunnyWhiteCat/article/details/81387561使用OpenCV检测桥墩表面照片中的裂缝，并测量裂缝的长度和宽度，这是我的毕业设计中最核心的部分。学习OpenCV如何使用并不难，找到正确的处理流程才是关键。所以在此记录、分享一下思路和代码。处理流程如下：图像灰度化 增加对比度 Canny边缘检测...
2018-09-13 22:12:46
6819
原创 codeforces 1029 C Maximal Intersection
题意：给n个区间[x,y]，删除一个区间使得剩下的区间交集最大。思路：很容易想到那个区间的交集就是最大的x和最小的之差，那么删除的话肯定和次大和次小的有关系，自己想了一个方法不能过全部数据。有漏掉的情况，后来在网上看到了一个很简单的想法。。https://blog.csdn.net/henuyh/article/details/82048896如图 求上面两个区间的交集，就是相当于求下...
2018-08-26 20:26:33
279
原创 codeforces 1004 B. Sonya and Exhibition
题意：给出两个数 n,m； 要求输出一个长度为n 的01字符串使得给出的m个区间价值之和最大，每个的区间价值等于区间里0的个数和一的个数的乘积。 思路： 仔细想想其实和区间没啥关系，因为我们保证每个区间的价值最大就可以了，区间的长度是一定的，就是0和1的个数是一定的。热然后要求乘积最大，其实就是个初中的不等式。。。当且仅当 时取等号 =成立#include&...
2018-08-16 21:33:11
251
转载 计算机视觉入门
转载 ：https://blog.csdn.net/ksws0292756/article/details/78881839感觉写的很明白，留着看看。以下内容整理自 2017 年 6 月 29 日由“趣直播–知识直播平台”邀请的嘉宾实录。 分享嘉宾: 罗韵目前，人工智能，机器学习，深度学习，计算机视觉等已经成为新时代的风向标。这篇文章主要介绍了下面几点： 第一点，如果说你要入门计算机视觉，需要了解...
2018-07-11 19:22:20
674
转载 链表 C http://blog.csdn.net/pf4919501/article/details/38818335
链表概述 链表是一种常见的重要的数据结构。它是动态地进行存储分配的一种结构。它可以根据需要开辟内存单元。链表有一个“头指针”变量，以head表示，它存放一个地址。该地址指向一个元素。链表中每一个元素称为“结点”，每个结点都应包括两个部分：一为用户需要用的实际数据，二为下一个结点的地址。因此，head指向第一个元素：第一个元素又指向第二个元素；……，直到最后一个元素，该元素不再指向其它元素，
2017-01-04 20:47:05
552
原创 2016 哈理工校赛H
H.PermutationTime Limit: 1000 MSMemory Limit: 100000 KTotal Submit: 499(169 users)Total Accepted: 90(89 users)Special Judge: NoDescription
2016-12-10 14:32:20
619
原创 hdu 5974
x+y=a , lcm(x,y)=b 有解 输出x,y 看了一篇博客 已经写的很清楚了 http://blog.csdn.net/betwater/article/details/53055607然后就是一个问题想不明白为什么 i ,j 互质 i+j 和i*j 一定互质在网上找到了证明:若两个数互质,证明它们的和与它们的积互质证明：设这两个数为
2016-11-08 17:05:29
819
1
原创 HDU3339:In Action(Dijkstra+01背包)
题意： 有 n个发电站 编号 1到n ，每个发电站有一个pow 值， m条边 每条边有一个cost 值， 要求 选出一些点，使得这些点的pow值>sum(pow)/2 并且 从0号到每个点的最短距离和最小。 最短路+01背包， 0号到每个点的最短距离作为价值 ， pow作为花费。#includeusing namespace std;struct node{
2016-11-08 16:56:49
678
原创 Hihocoder 数组重排
题意： 给你个1到n的序列p，每次将所有数移动，第i个数移动到p[i]位置上 ，问最少几次操作，使得 所有 i==p[i]其实想想也就是 第I个数按照规则移动，会再次回到 i的位置上，需要几次， 要保证所有数同时回到自己位置上，就是要求每个数移动次数的最小公倍数就行了#includeusing namespace std;long long a[101];long long l
2016-11-06 17:59:19
830
原创 hihocoder 修补木桶
思路： 二分高度 Ｈ 判断是否能够在Ｍ次内完成。 判断的方法为：因为桶是环形，所以要枚举起点#include#include#include#include#include#include#include#includeusing namespace std;int n ,m ,L;int a[10010];bool judge(int x){
2016-11-03 21:22:01
456
原创 hihocoder 1379 Emulator
时间限制:5000ms单点时限:1000ms内存限制:256MB描述有一个n个点的无向正权图G，这个图是连通的，小Y知道这些点两两之间的最短路的长度。小J想要构造一个新的无向正权图G'，使得新图中两两之间的最短路的长度与原图一样，并且边数最少。输入第一行一个整数n，表示点的个数。接下来n行，每行n个整数。第i行第j个整数表示i点到j点的在
2016-10-12 14:06:09
386
转载 hdu 5072 Coprime
挑出数组a里 三个数满足三个数两两互质或者三个数两两不互质 。 反过来求就是可以用总的方案数 C(n,3) - （a,b互质， b,c不互质） 三个数中有 a和b互质，b和c 不互质 ， a,c的关系无所谓，不管a,c是否互质，结果就可以是 与b不互质的与b互质的 我们都会吧情况多算了两次，所以 算出的总结果要除以2。。。问题就是求一个数组中与a[i]互质...
2016-10-11 16:49:38
439
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人