开发工具和组件
文章平均质量分 85
程序开发常用工具、IDE工具、常用工具类
ZWZhangYu
这个作者很懒,什么都没留下…
展开
-
【工具】HTTrack:网站一键克隆下载,实现离线浏览与备份的利器
HTTrack 是一款用于复制完整网站的开源工具,它可以从服务器下载整个网站的内容,包括 HTML 文件、图像、样式表、脚本等资源。通过这种方式,你可以在离线状态下浏览网站,就像在线一样。HTTrack 支持多种操作系统,如 Windows、Linux、BSD 和 macOS,它还提供了图形界面,使得操作简单易用。此外,HTTrack 还可以通过命令行运行,适用于批处理和自动化任务。HTTrack 最初发布于 1998 年,由 Xavier Roche 开发,至今已成为最受欢迎的网页抓取工具之一。原创 2024-10-13 20:14:20 · 891 阅读 · 0 评论 -
【工具】使用 Jackson 实现优雅的 JSON 格式化输出
无论是从服务器端返回的数据,还是本地存储的数据,JSON 格式都因其轻量级和易于解析的特点而被广泛使用。我们使用它将 JSON 字符串解析为 Java 对象,或者将 Java 对象转换为 JSON 字符串。writerWithDefaultPrettyPrinter 方法:这个方法返回一个配置了默认“漂亮打印机”的 ObjectWriter,用于将 JSON 对象格式化为漂亮的字符串。writeValueAsString 方法:该方法将 Java 对象转换为 JSON 字符串,在这个例子中是格式化的输出。原创 2024-09-07 22:18:49 · 525 阅读 · 0 评论 -
ChatGPT使用介绍、ChatGPT+编程、相关组件和插件记录
OpenAI的GPT-3模型为程序员提供了开发接口。要掌握开发接口的使用方法,就得花时间阅读相关的技术文档。如果没有时间阅读文档,也可以用ChatGPT生成示例代码,从而快速了解接口的基本用法。原创 2023-03-23 21:00:14 · 8173 阅读 · 1 评论 -
使用AppSmith(PagePlug )低代码平台快速构建小程序应用实践
Appsmith 是一个开源框架,可让您的团队更快、更协作地构建自定义内部应用程序,如仪表板、管理面板、CRUD 应用程序。PagePlug 是基于 AppSmith 打造的更适合中国开发者的开源前端低代码项目。无需侵入客户架构,直接连接数据源(API、DB),无需学习任何第三方概念,使用基础 js知识就可以快速生成多平台前端应用,包括 PC 端 web 应用、微信小程序等。PagePlug提供的几款模板参考。原创 2023-03-04 17:26:58 · 8467 阅读 · 4 评论 -
Selenium隐藏浏览器和元素截屏实践
在使用Selenium采集网页数据时,需要不断地调用浏览器。实际上,通过对Selenium的设置,可以达到隐藏浏览器的效果。在程序中,对浏览器设置了headless,其作用是实现无界面状态。当设置了隐藏浏览器时也是可以正常进行和之前不隐藏浏览器一样的操作的。// 设置隐藏浏览器模式 firefoxBinary . addCommandLineOptions("--headless");在网络爬虫中,很多网站会采用验证码的方式来反爬虫,例如在登录时设置验证码、频繁访问时自动弹出验证码等。原创 2022-11-19 10:39:54 · 1613 阅读 · 1 评论 -
一次在IDEA中Git更新文件代码丢失问题总结记录
【1】Revert Commit可以回滚任何提交commit记录,操作的时候会自动生成一次回滚记录commit【2】Undo commit仅回滚最近一次提交记录【3】两个方式都可以针对已push的提交记录【4】Undo commit比较适合自己提交代码有部分错误,操作完之后可以继续编辑原来的代码记录,修改完成后按照正常步骤,继续commit/push,即再次提交一次,算是二次修复调整再提交。【5】Revert Commit是直接将对应记录全部回滚到前一个版本,是整体性的操作,算是直接否定上一原创 2022-10-10 12:32:27 · 6250 阅读 · 2 评论 -
一次Navicat执行带注释的DDL导致canal异常的问题分析 以及相关知识扩展总结
【1】在进行了多次的测试下,也仅仅发现只有当使用navicat并存在空行注释的情况下才会出现问题,因为日常开发中这样的情况不多并且可以避免,也就没有过多的去深究了,以后避免这样写法。【2】本次的问题值得反思的是在日常开发中,对于注释这些细节问题也需要重视起来,比如上面的空行注释,还有上面参考案例XML中的SQL注释等等,在平常的开发中要尽可能的保持标准写法,删除无用的注释。【3】本次实践中所使用的Druid的SQL解析工具,以及围绕着该工具介绍的一些SQL操作方法,确实是一个很好辅助工具...原创 2022-08-28 11:17:50 · 1114 阅读 · 0 评论 -
开源组件漏洞检查工具实践分析
开源软件安全检测工具。该工具主要提供如下功能:【代码安全检测】:识别您代码项目中存在的开源组件安全漏洞,并快速修复它。【许可证合规评估】:识别您代码项目中使用的开源组件许可证,检查合规的风险。【软件成分分析】:识别您代码和基础环境中的三方组件依赖资产,并有效管理。支持语言:目前支持 Java、JavaScript、Golang 、Python 语言项目的检测...原创 2022-08-28 11:07:18 · 4139 阅读 · 0 评论 -
如何定位不需要的Jar依赖 loosejar工具和maven工具实践分析
对于loosejar更适合将它集成到日常的开发中或者集成到研发测试环境,在运行过程中做好依赖信息的记录,并在运行一段时间后进行依赖的对比分析,根据分析结果选择性的排除一些不需要的依赖信息。原创 2022-08-20 17:32:45 · 3267 阅读 · 5 评论 -
UnitAuto——机器学习单元测试平台 (三)
机器学习单元测试平台,零代码、全方位、自动化 测试 方法/函数 的正确性和可用性原创 2022-08-20 17:14:38 · 1236 阅读 · 2 评论 -
如何根据镜像反向生成Dockerfile内容?这三种方式总有一个适合你
【1】日常开发中,我们可以根据记录找到历史的docker镜像并进行操作,这个docker帮我们保存了,但是并没有一个好的方式去查看和保存构建者的Dockerfile文件内容【2】知其然知其所以然;程序员都是有好奇心的,尤其对于docker这种新的技术,当我们去运行别人的镜像容器时,出于好奇心我想知道别人是如何构建,构建过程是什么,学习了解。【3】优化镜像;我们知道镜像是分层构建,如果我们想要优化一个镜像的大小和安全性,那么就需要去逐层解析和处理,这个就需要知道构建过程也就是Dockerfile是什么样...原创 2022-08-06 16:34:02 · 3291 阅读 · 0 评论 -
google搜索技巧——程序员推荐
在昨天使用Google搜索一个异常问题的时候,不经意间发现有如下的提示参考如上,我随便列举一些关键词,很明显无法找到完全匹配的结果,我注意到红色框的提示,他提示我当前这个结果没有匹配SpringBoot,是否必须包含,当我点击了必须包含后当我点击之后,搜索栏给SpringBoot关键词增加了双引号,这似乎表示搜索结果必须包含springboot关键词。这勾起了我的好奇心,我虽然经常使用Google搜索,但是对其中使用最大的特性就是通过关键词匹配,而不是使用一个长的语句。......原创 2022-07-30 11:30:26 · 1942 阅读 · 1 评论 -
后端程序员推荐——接口Mock工具json-server
今天在开发小程序应用时接触到一款简单易用的前端Mock工具,特此整理记录。json-server是一款非常简单易用的数据Mock工具,对于前端开发测试接口时非常适用,只需要提供对应的JSON数据就可以Mock出一个接口来。.........原创 2022-06-23 21:45:29 · 4074 阅读 · 0 评论 -
使用Navicat对比多环境数据库数据差异和结构差异,以及自动DML和DDL脚本
对于其中数据结构同步,在进行版本测试提测时或者大版本升级的时候,如果没有留存升级脚本,可以通过该工具一键快速生成相关的DDL语句。如果准备了升级脚本,也还是可以通过这个工具进行一次源库和目标库的对比,这样可以保证升级时不会有缺失的,做一个保障。......原创 2022-06-23 19:41:53 · 5151 阅读 · 0 评论 -
SpringBoot+Flyway 自动化数据库脚本版本控制工具
Flyway主要是用来记录每次迭代的版本sql的表结构的变动.在部署某个版本时,能够快找到这个版本对应的sql,避免出现表结构的错误。Flyway原理简单阐述:开发者将每个版本的 DDL 放到项目中,项目在新环境启动时,会自动创建一张表用于记录 DDL 的版本信息,随后自动执行未执行过的 DDL,同时将执行过的 DDL 信息存入元数据表中。下次再启动时,检测到执行过了,就不会重复执行。.........原创 2022-06-20 20:02:49 · 2646 阅读 · 1 评论 -
通过frp搭建属于自己的免费稳定的内网穿透服务
之前的开发中,使用的内网穿透工具都是natapp,虽然该工具用起来很简单,但是每次重启都会变动域名,而且因为是免费的隧道传输上也被限制了,使用起来也很卡,所以也一直希望能够找到一款稳定的免费的内网穿透工具。frp是开源内网穿透软件,需要自己搭建服务器端和客户端,域名和带宽都是由自己提供的,所以也不存在随机域名和网速限制的情况原创 2022-05-23 20:03:26 · 5020 阅读 · 4 评论 -
Maven编译打包性能优化实践整理
【1】maven支持并发设置多线程编译【2】子模块是可以并行编译打包的【3】每个模块开启一个线程,但是这个线程不是立刻开启的,是由打包程序自己决定启用多少个线程【4】dependency:analyze优化,寻找那些不需要的依赖,然后移除【5】并发执行TEST【6】适当的跳过某些模块,当前构建只处理改动的模块【7】JAR依赖分析...原创 2022-05-23 12:23:03 · 6413 阅读 · 2 评论 -
SQL解析处理和扩展开发工具 Java
SQL语句AST抽象语法树解析;SQL解析;SQL翻译 MySQL语句翻译成Oracle;SQL语句格式化;SQL语句验证;获取表名、查询字段、查询条件;修改表名;为SQL增加额外的where条件;解析select项、表信息、条件信息原创 2022-05-22 13:13:54 · 6783 阅读 · 13 评论 -
推荐一款效率类小工具--utools
utools相对于Listary这种传统的检索工具优势就是有着很多的插件,而且这些插件拿来即用,非常方便。utools功能丰富,支持本地文件检索和预览、自动识别、丰富的插件市场、自定义插件开发等等原创 2022-05-14 17:26:30 · 3965 阅读 · 0 评论 -
通过阿里云镜像服务来拉取国外镜像
最近在学习Knative的时候遇到了很多镜像无法拉取的问题,导致很多组件无法正常启动。例如gcr.io域名下的镜像就无法拉取,这给工作学习带来了非常的不便,通过查阅资料发现可以通过阿里云镜像服务来拉取国外镜像。【1】准备一个无法正常拉取的外国外域名的镜像,比如下面这给,这个组件是Knative Serving中的activator组件gcr.io/knative-releases/knative.dev/serving/cmd/activator@sha256:f5e1cd14f26ec76fb84ef原创 2022-03-01 19:58:41 · 2720 阅读 · 1 评论 -
Java平台调试体系原理和实践整理 远程Debug
JPDA(Java Platform Debugger Architecture) 是 Java 平台调试体系结构的缩写,通过 JPDA 提供的 API,开发人员可以方便灵活的搭建 Java 调试应用程序。JPDA 主要由三个部分组成:Java 虚拟机工具接口(JVMTI),Java 调试线协议(JDWP),以及 Java 调试接口(JDI)。Java 程序都是运行在 Java 虚拟机上的,我们要调试 Java 程序,事实上就需要向 Java 虚拟机请求当前运行态的状态,并对虚拟机发出一定的指令,设置一..原创 2022-02-21 16:26:07 · 2610 阅读 · 0 评论 -
IDEA敏感数据检测实践整理
洞态 IAST插件通过插桩方式获取请求和响应数据并发送到平台上面,帮助我们分析和匹配安全漏洞以及敏感数据通过示例可以看到,洞态 IAST的敏感信息检测可以捕获各类请求和响应数据,基本涵盖了日常开发涉及的交互数据。洞态 IAST敏感信息检测通过正则表达式进行数据的匹配检测,对于一般的固定格式的数据非常适用,比如手机号码,身份证等等,只要我们根据具体的数据格式写出合适的正则即可。...原创 2022-01-08 10:08:38 · 2411 阅读 · 0 评论 -
Excel数据处理函数实践整理
文章目录(1)vlookup函数检查匹配(2)单元格拼接(3)条件函数IF和find(1)vlookup函数检查匹配vlookup函数在工作中检查分析数据的时候非常实用,它可以用来检查分析数据的差异性,尤其在工作中遇到数据不匹配的时候就可以使用VLOOKUP进行数据的检查【用户数据核查示例】上面身份证测试数据是程序生成的,不是真实数据,上面简单的使用了VLOOKUP函数分析出了A列和C列的差异,其中未匹配的都显示了NA,通过该方式可以很清楚看到数据的问题=VLOOKUP(A2,$C$2:$C$1原创 2021-11-14 10:47:29 · 1269 阅读 · 0 评论 -
Java导出Excel统计报表 合并单元格
Apache POI是一种流行的API,允许程序员使用Java程序创建,修改和显示MS Office文件。 它是由Apache Software Foundation开发和分发的开源库,用于使用Java程序设计或修改Microsoft Office文件。 它包含将用户输入数据或文件解码为MS Office文档的类和方法。HSSF - 用于读取和写入MS-Excel文件的xls格式原创 2021-10-09 21:39:38 · 2142 阅读 · 4 评论 -
Java表备份、回滚以及根据SQL查询生成Insert语句
文章目录(2)数据表的备份(3)数据表的回滚(4)通过查询SQL构建Insert语句SQL脚本(5)知识整理(1)需求在构建数据相关的功能需求,因基础数据杂乱,经常性需要进行更新/删除等清洗工作,但是毕竟所涉及的都是基础数据,必须要注意数据的丢失和错误操作等情况处理。【1】在每次处理基础数据时如果涉及新增数据,那么必须自动化的进行数据表的备份【2】如果涉及的数据不多,而且大多都是删除操作等清洗工作,那么可以不需要再单独构建一个备份表,如果涉及的备份表过多,一方面增加维护的成本另一方面会导致备份表过多原创 2021-09-17 21:12:13 · 3502 阅读 · 2 评论 -
Wireshark过滤规则
Wireshark 是世界上应用最广泛的网络协议分析器,它让我们在微观层面上看到整个网络正在发生的事情;Whireshark 可以帮你看到整个网络交通情况,也可以帮你深入了解每个封包原创 2021-06-19 22:17:13 · 5798 阅读 · 2 评论 -
oshi-core实用的采集系统信息工具
oshi-core组件是开源的获取系统信息的工具,通过该工具可以方便的帮助我们获取丰富的系统信息,包括:操作系统信息、服务器信息、JVM信息、磁盘信息等等目前整理出如下系统信息【代码地址】https://github.com/TheOctopus3430/CodeHub/tree/main/repo/oshi-core/oshi-core【参考依赖】 <dependency> <groupId>com.github.oshi</groupId>原创 2021-06-19 14:06:38 · 4367 阅读 · 0 评论 -
Java实现PDF动态插入图片复选框
文章目录(一)需求描述(二)制作模板(三)代码开发(一)需求描述构建PDF模板,对其中部分数据实现动态插入,主要分为三个组件:普通文本,复选框,二维码图片的动态插入(二)制作模板因为PDF常用的软件不让支持编辑,我们就先使用WPS以Word的形式进行编辑制作出与客户需求一样的样式,然后直接另存为 .pdf 的形式如下图所示:构建完PDF之后,我们需要使用Adobe Acrobat DC的软件来编辑文本域,软件下载不在赘述用Adobe Acrobat DC打开该测试PDF,点击准备表单,下面原创 2021-04-24 14:09:16 · 3147 阅读 · 0 评论 -
SpringBoot整合UEditor富文本编辑器以及解决CSRF问题
(一)基本配置使用下载插件https://github.com/fex-team/ueditor/releases后端依赖 <dependency> <groupId>org.json</groupId> <artifactId>json</artifactId> <version>20160810</version> <原创 2021-03-08 16:35:27 · 2081 阅读 · 0 评论 -
五分钟使用WebStack构建个人网址导航
文章目录(一) 前言(二)文档说明(三)安装使用(一) 前言从事开发工作的同学肯定都有感觉在工作和学习中需要记录的网站太多太多了,这其中包括公司协同开发的一些网址,还有个人学习想要收藏的一些工具、在线文档、相关专栏等等,最近在GitHub上找到了一个很好的个人导航栏网页项目WebStack。整体看起来非常的美观大气。部署的方式也非常简单,下面给出我的使用过程。(二)文档说明静态响应式网址导航网站https://github.com/WebStackPage/WebStackPage.githu原创 2021-02-17 17:18:11 · 11822 阅读 · 0 评论 -
使用PDMReader和Powerdesigner构建数据库字典
文章目录1、安装PDMReader2、安装Powerdesigner3、配置32位的JDK4、连接Oracle数据库5、PDMReader导入PDM文件1、安装PDMReader下载链接:http://www.pdmreader.com/2、安装Powerdesigner百度搜索Powerdesigner下载即可3、配置32位的JDK自己在使用PowerDesigner连接数据库时出现以下错误:异常:PowerDesigner Could not Initialize JavaVM如果系原创 2020-07-20 17:58:32 · 2588 阅读 · 0 评论 -
一键屏蔽百度热搜,专注工作!
最近因为网络问题,用Google不稳定,只能用百度了,但是令人非常头疼的一点就是百度每次搜索时右侧都会出现【百度热搜】,这个东西怎么说呢,能够实时看到时事新闻,但是这在很多时候会分散我们的注意力,为了保证自己的专注和注意力,还是屏蔽为好。【1】Google商店下载安装Adblock Plus插件【2】点击设置【3】添加过滤器,输入下面的拦截URLwww.baidu.com##div[tpl="right_toplist1"]【4】百度搜索查询效果...原创 2020-11-08 10:16:48 · 2136 阅读 · 0 评论 -
Docker部署YApi和使用问题
文章目录Docker部署YApi(1)下载YApi代码和二次开发(2)安装Mongdb(3)构建自定义的YApi镜像、初始化数据库、启动YApiYApi相关问题及解决(1)YApi 新版如何查看 http 请求数据(2)Yapi出现 请求异常,请检查 chrome network 错误信息(3)chrome 安装 yapi 扩展插件参考Docker部署YApi(1)下载YApi代码和二次开发首先选择YApi版本进行下载,下载地址如下https://github.com/YMFE/yapi/relea原创 2020-08-13 20:26:53 · 3723 阅读 · 0 评论 -
性能分析神器——XRebel
1、安装通过IDEA插件仓库查询JRebel即可,这俩个插件是绑定在一起下载的XRebel 是不间断运行在 web 应用的交互式分析器,当发现问题会在浏览器中显示警告信息。XRebel 会实时监测应用代码的性能指标和可能会发生的问题。XRebel官方简明教程在这里http://zeroturnaround.com/software/xrebel/quick-start/官方下载地址在这里https://zeroturnaround.com/software/xrebel/download/#!原创 2020-07-13 18:29:01 · 3422 阅读 · 2 评论 -
源码学习——Debug的使用技巧
1:带着问题和目标去看源码2:代码中每个方法调用,注意先观察方法的返回值,明确这个是否和问题目标有关系,重要的方法重点看,部分方法可以简略过之,知道其大概作用即可3:类似于Spring的源码,一些方法调用会有系统或者其他层面的调用,如果我们在一开始就对该方法进行断点测试可能得不到想要的结果,所以在这些方法的时候需要限制我们需要的条件,处理的恰恰是我们关注的对象4:对于存储容器的get,一定会...原创 2020-04-26 21:04:40 · 2048 阅读 · 0 评论 -
HtmlUnit使用
htmlunit 是一款开源的java 页面分析工具,读取页面后,可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行,被誉为java浏览器的开源实现。是一个没有界面的浏览器,运行速度迅速。是junit的扩展之一,它采用的是Rhinojs引擎。模拟js运行。常规意义上,该项目可以用来进行页面的测试工作,实现网页自动化测试,(包括JS)但是一般来说,在小型爬虫项目中,这种框架十分常...原创 2020-04-18 22:14:04 · 2954 阅读 · 0 评论 -
Jsoup携带Cookie跳过登录和设置代理IP
使用Jsoup访问某些网站时,某些资源是必须登录过后才能进行获取的,因此在这个时候就需要保存一些会话信息,即当前Jsoup发起请求时附带Cookie信息类似的比如:CSDN、学校管理系统当我们登录过某个网站时,浏览器会存储该会话的Cookie,并在下次访问时携带,然后服务器根据会话信息进行验证备注:上图显示的Cookie只有一个,某些网站可能有多个键值对,如果可以的话,在程序中都添加上 ...原创 2020-04-18 21:55:38 · 2673 阅读 · 0 评论 -
IDEA操作Git拉取推送分支切换
(一)IDEA创建项目上传到远程仓库首先在IDEA下创建一个本地项目配置你所安装的git软件目录配置Github账号将本地项目交给远程仓库管理,这里需要需要创建一个Git仓库,指向刚才创建的项目路径创建成功后,项目内的文件会变成红色此时右击项目选择[Git]选项[add],添加文件到工作区,添加成功后文件会变成绿色此时再次右击选择[Git]中的[Commit Direct...原创 2020-04-12 17:25:56 · 14315 阅读 · 2 评论 -
Lombok教程
(一)介绍Lombok项目是一个Java库,它会自动插入您的编辑器和构建工具中,从而为您的Java增光添彩。永远不要再编写另一个getter或equals方法,带有一个注解的类将具有功能全面的生成器,自动执行日志记录变量等等。(二)原理在Lombok使用的过程中,只需要添加相应的注解,无需再为此写任何代码。自动生成的代码到底是如何产生的呢?核心之处就是对于注解的解析上。JDK5引入了注解...原创 2020-02-25 14:18:27 · 1401 阅读 · 0 评论