- 博客(441)
- 收藏
- 关注
RSS订阅原创 10W数据导入该如何与库中数据去重？
在做大数据量（十万级）导入时，某些字段和数据库表里数据（千万级）重复的需要排除掉，把表数据查询出来用程序的方式判断去重效率很低，于是考虑用临时表。用时仍然是30s，随着数据量越多用时越久。当数据达到10w时，用时仍然是40s。用时较少，随着数据量越多用时越久。当数据达到10w时，用时150s！用时30s，随着数据量越多变化不大，当数据达到10w时，用时40s。用时较少，随着数据量越多用时越久。当数据达到10w时，用时25s。先把新数据插入到临时表里，临时表结构和原始表一致。把DataA插入到原始表里。
2024-08-24 11:30:02
167
原创 Vue状态管理库Pinia详解
首先，你需要从 Pinia 导入函数，并使用它来定义一个新的Store。users: [] // 初始状态是一个空数组}),getters: {// 一个 getter 函数，返回数组中的用户数量},actions: {// 一个 action 函数，用于添加用户})使用定义一个新的 Store，传入一个唯一的 ID 和一个配置对象。items: [] // 购物车初始状态为空数组}),getters: {// 计算属性，返回购物车中商品的总数量},actions: {
2024-08-24 10:20:06
371
原创 低代码开发与项目管理工作流优化
在当今快速发展的技术环境中，企业面临着不断变化的市场需求和激烈的竞争。为了保持竞争力，企业需要快速开发和部署应用程序，以满足客户需求并提高运营效率。低代码开发平台的出现，为项目管理工作流优化提供了新的可能性。本文将探讨低代码开发如何帮助项目管理团队提高效率、降低成本，并优化工作流程。
2024-08-23 17:17:50
702
原创 为什么重写hashCode一定也要重写equals方法？
对于普通判断对象是否相等来说，只equals是可以完成需求的，但是如果使用set，map这种需要用到hash值的集合时，不重写hashCode方法，是无法满足需求的。尽管如此，也一般建议两者都要重写，几乎没有见过只重写一个的情况引迈 - JNPF快速开发平台_低代码开发平台_零代码开发平台_流程设计器_表单引擎_工作流引擎_软件架构。
2024-08-23 16:16:01
734
原创 聊聊 PHP 多进程模式下的孤儿进程和僵尸进程
僵尸进程的产生就是儿子进程执行完了没有退出，但是父进程又不知情，无法及时回收儿子进程的资源，导致自己的儿子进程变成了僵尸进程，僵尸进程往往比孤儿进程对系统的危害更大，接下来我们来看看具体的代码示例。僵尸进程会继续占用系统的进程 ID，如果大量产生将导致进程 ID 耗尽，可能会影响系统的正常运行。示例，使用 pcntl_fork 函数创建了一个子进程，子进程会每间隔 1 秒钟获取一次自己进程的 ID 和父进程的 ID，而父进程在 2 秒钟之后就退出跑路了，自此子进程就变成了孤儿进程，被系统进程收养了。
2024-08-23 09:01:07
364
原创 Python开发中，SQLAlchemy 的同步操作和异步操作封装，以及常规CRUD的处理。
SQLAlchemy是一个功能强大且灵活的 Python SQL 工具包和对象关系映射（ORM）库。它被广泛用于在 Python 项目中处理关系型数据库的场景，既提供了高级的 ORM 功能，又保留了对底层 SQL 语句的强大控制力。SQLAlchemy允许开发者通过 Python 代码与数据库进行交互，而无需直接编写 SQL 语句，同时也支持直接使用原生 SQL 进行复杂查询。下面是SQLAlchemy和我们常规数据库对象的对应关系说明。Engine 连接对象 驱动引擎。
2024-08-22 17:00:50
740
原创 深入探讨微服务架构中的同步通信机制
今天我们专注于微服务之间的网络通信。可以清楚地看到，框架的最终目标是使程序员能够更专注于业务逻辑，而不是被迫写各种无关紧要的代码。总结一下，尽管我们使用了框架和各种抽象，但最终仍然是通过HTTP来进行调用。不同的是，在实际调用之前，我们引入了一个拦截器来实现微服务的负载均衡。这个拦截器中实现了各种均衡算法，最终确定真实的IP地址和端口，以便进行访问并获取所需的数据。努力的小雨引迈 - JNPF快速开发平台_低代码开发平台_零代码开发平台_流程设计器_表单引擎_工作流引擎_软件架构。
2024-08-10 11:39:45
791
1
原创 Python 提取出SQL语句中Where的值的方法
这个示例提供了一个基本的起点，但根据具体需求，您可能需要调整正则表达式或采用更复杂的解析方法（如使用SQL解析库）来处理更复杂的SQL查询。接下来，我将提供一个更具体的代码示例，并给出一个完整的Python脚本，该脚本使用正则表达式来提取SQL语句中的。在实际应用中，我们可能需要更复杂的逻辑来处理更复杂的SQL语句，包括嵌套查询、复杂的条件表达式等。请注意，对于包含嵌套查询的SQL语句（如示例中的最后一个），这个正则表达式可能无法正确提取嵌套查询内部的。库，这是一个专门用于解析SQL语句的库。
2024-08-10 10:39:39
886
原创 JNPF快速开发平台赋能数字办公方式转变
随着信息技术的飞速发展，数字化转型已成为各行各业提升效率、优化流程的重要手段。JNPF快速开发平台正是在这样的背景下应运而生，它通过简化开发流程，使得非技术人员也能参与到应用的构建中来，从而加速了数字办公方式的转变。
2024-08-09 17:17:25
1340
原创 vue前端自适应布局，一步到位所有自适应
1，左右布局左侧固定宽带，右侧自适应剩余的宽度。中间一条分割线，可以拖拉，自适应调整左右侧的宽度。左侧的高度超长自动出现横向滚动条，左侧宽度超长，自动出现竖向滚动条。2，上中下布局最上面的 搜索条件 div 固定占用 100 px 高度，下面的 查询条件 div 固定占用 30 px 高度，最下面的分页固定占用高度，页面剩下的高度自动分配给中间的表格内容。表格内容高度超过后自动出现竖向滚动条，宽度超出后自动出现横向滚动条。点击按钮，可以 隐藏/显示 搜索条件 div 里面的内容。
2024-08-09 16:21:47
475
原创 清晰易懂二分查找算法 你确定不看吗？
二分查找算法要求数组是有序的。如果数组未排序，则需要先对其进行排序，然后再使用二分查找算法。此外，二分查找算法的时间复杂度为O(log n)，其中n是数组中的元素数量，这使得它在处理大数据集时非常高效。南国以南i引迈 - JNPF快速开发平台_低代码开发平台_零代码开发平台_流程设计器_表单引擎_工作流引擎_软件架构。
2024-08-09 15:07:50
568
原创 一个难忘的json反序列化问题
最近我在做知识星球中的商品秒杀系统，昨天遇到了一个诡异的json反序列化问题，感觉挺有意思的，现在拿出来跟大家一起分享一下，希望对你会有所帮助。这个问题最终发现还是转义的问题。那么，之前Test类中json字符串，也使用了转义，为什么没有问题？但在filter中的程序，在读取到这个json字符串之后，发现该字符串中包含了转义符号，程序自动把它变成了\\\。抛出了跟文章最开始一样的异常。说明其实就是转义的问题。
2024-08-08 17:57:51
713
原创 最佳实践：解读GaussDB(DWS) 统计信息自动收集方案
GaussDB(DWS) 支持统计信息自动收集功能，主要解决统计信息收集不及时和不准确的问题。手动采样：用户在作业中，手动发起的显示analyze。轮询采样：autovacuum后台线程，轮询发起的analyze。动态采样：查询时，优化器触发的runtime analyze。前台动态采样：负责统计信息实时准确，信息放内存（有淘汰机制），一级锁（像查询一样轻量）。后台轮询采样：负责统计信息的持久化，写系统表（四级锁），不要求特别及时。autovacuum_mode=mix或analyze;
2024-08-08 16:18:53
991
原创 Spring Boot 基于 SCRAM 认证集成 Kafka 的详解
通过以上步骤，我们成功地在 Spring Boot 应用中集成了 Kafka，并使用 SCRAM 认证机制进行安全连接；确保在生产环境中妥善管理用户凭证，并根据需要调整 Kafka 的安全配置。zlt2000引迈 - JNPF快速开发平台_低代码开发平台_零代码开发平台_流程设计器_表单引擎_工作流引擎_软件架构。
2024-08-07 17:23:11
275
原创 JavaScript 中的闭包和事件委托
简单来说，闭包是指有权访问另一个函数作用域中变量的函数。// innerFunction 可以访问 outerVariableclosure();// 输出: I am outside!在上述例子中，就是一个闭包，它可以访问中的，即使已经执行完毕。通过将事件监听器添加到父元素上，当子元素的事件被触发时，事件会冒泡到父元素，由父元素的事件监听器进行处理。</ul>// 输出点击的列表项的文本});在这个例子中，我们只为ul元素添加了一个点击事件监听器，但可以处理所有li元素的点击事件。
2024-08-05 17:15:02
555
原创 【Java】Jsoup 解析HTML报告
但是这个是摊开来的结构，A -> B -> C -> D，元素id和类名也没用直接关系，这样是很难构建关联的。可以在下面代码看到，对被压缩的文件进行inputStream读取后，要改用ZipInputStream读取。这个报告文件的情况是第一层只有一个条目，所以上传上来的文件我只关心里面只有一个内嵌的压缩文件就行。使用siblingIndex不准确，元素是动态的，可以第一张表10个，第二章表20个这样。其实所谓的报告的文件，就是一些本地可打开的静态资源，里面也有js、img等等。
2024-08-05 16:16:03
905
原创 telegraf 常用命令总结
Telegraf 是一个灵活的服务器代理，用于收集和报告指标。它支持插件驱动，这意味着你可以根据需要添加或修改功能。使用telegraf --help 可以查看telegraf提供的相关命令和参数，具体如下：基本命令: 打印完整的样本配置到标准输出。: 打印版本信息。配置相关: 指定要加载的配置文件。: 指定包含额外 *.conf 文件的目录。: 指定包含 *.so 文件的目录，Telegraf 将递归搜索此目录并加载任何找到的插件。: 启用调试日志。: 过滤要启用的输入插件，分隔符为冒号。: 过滤要
2024-08-02 17:26:08
819
原创 自从用了这些监控工具，我连续几天没睡好觉！
我们把系统想象成人的身体。除了上面的监控外，有时我们还想了解用户的行为、用户属性和业务指标，比如每天有多少用户访问网站、是用的 PC 还是手机、手机是什么牌子的、有多少新用户注册等等。如果我们想更全面地、更准确地监控系统的健康，还要里里外外做个全方位的体检，包括服务器监控、网络监控、应用监控、数据库监控、API 接口监控等等。包括应用服务器（比如 Java 的 Tomcat）的状态、API 接口调用情况、系统内部依赖服务的调用情况、定时任务的调用情况、线程池的状态、虚拟机的内存、GC 的情况等等。
2024-08-02 16:29:49
699
原创 JPA乐观锁改悲观锁遇到的一些问题与思考
此项目采用乐观锁+悲观锁混合方式，用悲观锁限制并发修改，用乐观锁做最基本的一致性保护。关于一致性保护对于一些简单的应用，写并发不高，事务+乐观锁就足够了entity里面加一个@version字段业务方法加上@Transactional这样代码最简单。只有当写并发高的时候，或根据业务推断可能出现高并发写操作的时候，才需考虑引入悲观锁机制。（代码越复杂越容易出问题，越难维护）猫毛·波拿巴引迈 - JNPF快速开发平台_低代码开发平台_零代码开发平台_流程设计器_表单引擎_工作流引擎_软件架构。
2024-08-01 17:24:06
306
原创 Linux Squashfs只读文件系统介绍
嵌入式Linux系统中，squashfs文件系统使用非常广泛。它主要的特性是只读，文件压缩比例高。对于flash空间紧张的系统，可以将一些不需要修改的资源打包成压缩的只读文件系统格式，从而达到节省空间的目的。另外还有个特性就是它可以分块解压缩，使用数据会更加灵活，但同时也会引入读放大的问题。
2024-07-31 18:02:06
988
原创 自写Json转换工具
最后附上下载地址，本工具暂不开源。1、json字符串转为表格，可以直观的展示，也可以复制，并支持转换后的表格点击列头进行排序，比较方便地定位数据。前面写了简单的API测试工具ApiTools，返回的json有时需要做很多转换，于是开发了这个工具。2、表格转为EXCEL，就是导出Excel文件，支持2003和2007格式，即xls和xlsx。5、json转csv，就是把json字符串先转为内存中的datatable，再转为csv格式。3、支持EXCEL转表格，即读入EXCEL文件，展示到表格中。
2024-07-31 17:29:01
254
原创 智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
Agent是以大模型为核心的智能体，通过与用户对话的形式，来完成各种任务，它很像一个“人”。
2024-07-30 17:18:02
979
原创 Java代码实现七夕魔方照片墙
创建一个七夕魔方照片墙是一个相对复杂的任务，涉及到前端展示和后端数据处理。在这里，我会提供一个简化的Java后端示例，用于生成一个模拟的“照片墙”数据模型，并给出一个基本的前端HTML页面来展示这些数据。请注意，由于这是一个简化的示例，它不会包含完整的用户交互和动态数据加载，而是提供一个静态的“照片墙”展示。
2024-07-30 15:57:32
739
原创 使用线程池你应该知道的知识点
多线程编程是每一个开发必知必会的技能，在实际项目中，为了避免频繁创建和销毁线程，我们通常使用池化的思想，用线程池进行多线程开发。线程池在开发中使用频率非常高，也包含不少知识点，是一个高频面试题，本篇总结线程池的使用经验和需要注意的问题，更好的应对日常开发和面试。如有更多知识点，欢迎补充~
2024-07-29 17:47:39
1306
原创 基于Drone实现CI/CD【0到1架构系列】
CI/CD是持续性集成和持续性部署，简单来讲就是自动化构建和自动化部署。目前有很多集成方案，也有很多组装方案，只要能实现自动化构建出制品，再自动部署到生产环境就行。目前很多源代码都集成了CI/CD功能，drone也是目前比较流行的一个方案，简单易用，高性能。
2024-07-29 17:05:51
754
原创 一文揭开JDK21虚拟线程的神秘面纱
虚拟线程，可以看作是对Platform线程的轻量级封装，Platform线程和OS线程的关系是1:1，虚拟线程和Platform线程的关系则是M:N，且一般M要远远大于N。可以直接看下虚拟线程的构造函数源码加深理解，坐标java.lang.VirtualThread#。虚拟线程特别适用如下场景：有大量的并发任务需要执行，且任务是非CPU密集的。虚拟线程使用上和普通的线程没有太大区别，甚至因为内置了调度逻辑和线程池，可以让开发人员不用再考虑线程池的大小、拒绝策略等，尤其给框架开发者提供了新的优化思路。
2024-07-22 17:45:22
760
原创 深入探究 Golang 反射：功能与原理及应用
Go 出于通用性的考量，提供了反射这一功能。借助反射功能，我们可以实现通用性更强的函数，传入任意的参数，在函数内通过反射动态调用参数对象的方法并访问它的属性。举例来说，下面的bridge接口为了支持灵活调用任意函数，在运行时根据传入参数funcPtr，通过反射动态调用funcPtr指向的具体函数。再如，ORM框架函数为了支持处理任意参数对象，在运行时根据传入的参数，通过反射动态对参数对象赋值。本文将深入探讨Golang反射包reflect的功能和原理。
2024-07-22 17:03:41
974
1
原创 以工业互联网为支撑 低代码推动数字技术赋能新型工业化
随着工业4.0的深入发展，工业互联网已经成为推动制造业数字化转型的关键力量。在这个大背景下，低代码技术作为一种新兴的开发模式，正逐步成为企业快速构建、部署和迭代应用的重要工具，助力数字技术深度赋能新型工业化。
2024-07-19 17:27:30
1040
原创 手把手教你搭建Docker私有仓库Harbor
Docker私有仓库是用于存储和管理Docker镜像的私有存储库。Docker默认会有一个公共的仓库Docker Hub，而与Docker Hub不同，私有仓库是受限访问的，只有授权用户才能够上传、下载和管理其中的镜像。这种私有仓库可以部署在本地云环境中，用于组织内部开发、测试和生产环境中的容器镜像管理。保证数据安全性。Harbor是一个开源的企业级Docker Registry服务，它提供了一个安全、可信赖的仓库来存储和管理Docker镜像。Harbor翻译为中文名称为"庇护；居住;
2024-07-19 15:11:27
915
原创 CSS：弹性布局（display:flex）
row（默认值）：主轴为水平方向，起点在左端。row-reverse：主轴为水平方向，起点在右端。column：主轴为垂直方向，起点在上沿。column-reverse：主轴为垂直方向，起点在下沿。
2024-07-18 17:09:28
668
原创 数据可视化在石油新能源行业的应用：深度探索与前沿趋势
数据可视化技术是一种将深奥且复杂的数据结构或数值通过各式各样的图形、图像以及动画等生动且直观的方式呈现出来的技术手段。它使得数据的分析、理解和记忆变得更加容易，从而有效促进了数据与信息之间的交流和转换。通过数据可视化，我们可以更加深入地揭示数据之间隐藏的关联性、模式和趋势，进而辅助我们在庞杂的数据集中发现重要的规律、识别存在的问题，以及发掘潜在的机遇。在石油新能源这一充满挑战与机遇并存的行业中，数据可视化技术的应用尤为重要。
2024-07-16 17:37:48
980
原创 Python循环控制
本文介绍了Python编程语言中关于for循环和if条件控制的一些基本使用。包含了单层循环的退出机制和多层循环的退出机制，使得我们在满足特定条件时，可以直接结束多层循环。文章转载自：Dechin的博客引迈 - JNPF快速开发平台_低代码开发平台_零代码开发平台_流程设计器_表单引擎_工作流引擎_软件架构。
2024-07-16 15:08:16
623
原创 基于低代码思想的可视化开发平台：引领未来软件开发的新趋势
低代码开发，作为一种新兴的软件开发模式，其核心思想主要体现在通过图形化的用户界面以及尽可能减少的手动编码工作，从而使得开发者能够更加迅速、更加便捷地构建出所需的应用程序。这一理念的实践，不仅极大地缩短了软件开发的时间周期，降低了开发成本，同时也为那些非专业编程背景的用户提供了参与软件开发的可能性。在这样的开发模式下，即便是编程经验不足的人员，也能够通过简单的学习和操作，实现对应用程序的部分或全部开发工作，这无疑极大地提升了软件开发过程中的灵活性和效率。
2024-07-15 18:01:16
1174
原创 如何实现一个分布式锁
我们来定义一个锁续约任务，那我们需要什么信息呢？我们至少需要锁的 key，锁要设置的过期时间。这是两个最基本的信息。要判断在锁过期时间的三分之二的时间点及之后进行续约，那么我们还需要记录锁上次续约的时间点。此外，我们还可以为锁续约任务添加最大续约次数限制，这可以避免某些执行时间特别久的任务不断占用锁。所以我们还需要记录当前锁续约次数和最大续约次数。对超过最大续约次数的锁的线程，我们直接将其停止，因此我们也记录一下该锁的线程。/*** key*//*** 过期时间。单位：秒*//**
2024-07-15 17:29:28
555
原创 前端开发-- Webpack 代码分割和懒加载技术
代码分割（Code Splitting）是一种将代码拆分成多个小包的技术，以便按需加载。这样可以避免一次性加载所有代码，从而提高页面初始加载速度和响应速度。懒加载（Lazy Loading）是一种优化技术，旨在推迟加载页面中的资源，直到这些资源即将出现在用户视野中时再进行加载。通过这种方式，可以减少初始页面加载时间，降低带宽消耗，并提高页面的响应速度。
2024-07-15 17:28:38
1009
原创 ARP协议介绍与ARP协议的攻击手法
它通过解析网络层地址（IP）来找寻数据链路层地址（MAC）的网络传输协议。对个定义不能理解的话，可以结合 TCP/IP 模型图理解，如下：ARP已经在很多网路层和数据链接层之间得以实现。不过在IPv6中用邻居发现协议（NDP）代替地址解析协议（ARP）。我的理解，ARP协议类似编程中的底层系统函数，一般用户用不到，或者没有太多单独使用场景。
2024-07-12 16:45:49
1055
原创 给你安利一个程序员上岸公务员的开源项目
也许你还在工位上焦虑着人工智能会不会替代自己也许你还在为一眼看不到头的加班而苦恼也许你还在为夜晚拉长了的背影而感到孤独无助。那么今天推荐的这个开源项目或许值得你一看。都说宇宙的尽头是考编，今天推荐的开源项目就是公务员从入门到上岸，最佳程序员公考实践教程。正如名字所言，程序员到公务员：从入门到上岸。项目是由一群程序员考公朋友的归纳总结，适用于当下每个普通人的“从入门到上岸”手把手操作实践教程。项目不仅包含考公教程，同时还分享一些体制内朋友的工作、生活、人际关系、人生思考等等。
2024-07-12 15:11:31
1100
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人