- 博客(39)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Content-Encoding: br
爬虫的时候遇到了 Content-Encoding: br ， 这可能会导致返回的数据有乱码，无法解析，也无法解码，查了很久，需要在请求头 Accept-Encoding 将这个改为gzip，deflate，zstd等就行！按照这么写，还是乱码。
2024-08-23 14:28:17
254
原创 状态码表示什么意思
你们有没有看出什么端倪来，可以看出前端传递的参数是type，然后后端接受的却是order类型的，所以参数接受错误。出现这种错误一般就是检查参数传递是否异常，前端传递的参数，后端有没有接受正确，前端传递的参数有没有和后端匹配。如果你遇到了400错误，你可以检查请求的参数和语法是否正确，并尝试修复问题。当服务器收到一个无效的请求时，通常会返回400错误码。缺少必要的参数、参数格式错误、非法字符、身份验证问题或其他语法错误所导致的。检查地址是否有错误，如空格要转换等。必要的参数都带上，如cookie。
2024-06-25 14:13:30
135
原创 Quartz定时调度CronTrigger时间配置格式说明与实例
W ：表示离指定日期的最近那个工作日( 周一至周五). 例如在日字段上设置"15W" ，表示离每月15 号最近的那个工作日触发。如果15 号正好是周六，则找最近的周五(14 号) 触发, 如果15 号是周未，则找最近的下周一(16 号) 触发. 如果15 号正好在工作日( 周一至周五) ，则就在该天触发。# ：序号( 表示每月的第几周星期几) ，例如在周字段上设置"6#3" 表示在每月的第三个周星期六. 注意如果指定"6#5", 正好第五周没有星期六，则不会触发该配置( 用在母亲节和父亲节再合适不过了)
2024-05-15 10:32:48
103
原创 一篇搞定okHttp三
包含两个方面的内容，一是网络连接角度发挥作用的网络拦截器，二是从连接池的操作角度发挥作用的拦截器。分析入口依然是我们最熟悉的地方：intercept();该方法的前三行分别创建了三个对象。这里我们重点关注StreamAllocation.StreamAllocation的作用：用来建立执行OKHttp请求所需要的网络参数组件，分配Stream。
2024-04-26 15:37:43
808
原创 一篇搞定okHttp二
runningSyncCalls——就是我们前面提到的 正在执行、还没有执行完成以及取消的同步请求队列每当我们发出一个同步请求时，Dispatcher就直接将他加入到执行队列里面去并开始执行，他并不需要像异步请求那样考虑各种场景和影响因素。上面加粗的Response部分就是我们网络请求到的结果。
2024-04-26 15:30:56
860
原创 OkHttp 发送 HTTP/3 请求的示例代码
由于 HTTP/3 是一个新的、不断变化的标准，因此具体的实现和支持可能会随着时间推移而变化。如果你需要在生产环境中使用 HTTP/3，请密切关注你所使用的库和工具的更新。是 HTTP/3 的简称，这是一个实验阶段的协议，在 Java 标准库中可能还没有直接支持。如果你需要使用 HTTP/3 协议，你可能需要依赖一些第三方库，如。，这是 JDK 11 引入的，它可能在未来支持 HTTP/3。应该是异步的，因为 HTTP/3 是异步的。使用支持 HTTP/3 的第三方库，如。请注意，上述代码中的。
2024-04-19 17:13:39
336
1
原创 java 判断pdf文档是否已损坏
最近利用爬虫上网下了很多pdf文档，但有一小部分由于网络不稳定等原因，在下载过程中出现了错误，而网上又缺少批量判断的工具，因此调研了一些开源工具，写了一个小程序！首先得到给定目录下的所有pdf文件，然后利用itext包来读取pdf，如果读取成功，则无错！
2024-01-08 17:43:20
645
原创 对于反扒机制的网站爬虫爬取数据返回503处理方法
503表示服务器暂时无法处理某一请求。这既有可能是服务器过载导致的，也有可能是服务器屏蔽了你的请求。首先一点，你需要确认目标网站有没有禁止爬虫访问（最简单的方法是查询robots.txt）。一般建议尊重网站的设置。Be polite.其次，如果是因为服务器过载导致503，请降低爬虫的并发访问数量，并且延长各个请求之间的间隔时间（比如设置为10-20分钟）。最复杂的情况是，网站设置了爬虫陷阱。取决于具体设置，这里面的情况千差万别——通常可以采取的应对措施包括降低并发数量（别表现的那么像机器）
2023-12-15 15:36:59
2034
原创 jdk 8 使用okhttp3 实现 http2
在android中一般都是使用异步的处理，OkHttpClient.newCall(Request req).enqueue(Callback call),但是在异步请求后不能直接修改ui控件，android中不允许后台线程修改ui，只允许主线程修改。几番操作，要不无法解析请求头，要不就是得不到正确的结果。历时至少一天了，整个搜索逻辑我也贴一下，蓝灯翻不了，用百度要死，每一个正确，搜索的内容答非所问，发现bing搜索可以代替一下谷歌。经过一番的搜索（不要用百度，百度弱鸡，不能用谷歌，就用。
2023-11-08 12:10:01
339
原创 2021-09-28
结构化查询语言（SQL）是专门用来与数据库通信的语言，它可以帮助用户操作 关系数据库。--- --- --- --- --- --- --- --- ---- --- --- --- --- --- ------ --- --- --- --- --- --- --- ---- --- --- ---SQL的特点：1、SQL不是某个特定的数据库供应商专有的语言2、SQL简答易学3、SQL强大、灵活，可以进行非常复杂和高级的数据库操...
2023-10-12 17:33:39
48
原创 Java如何同时执行两个方法
在Java中，通常情况下，方法是按顺序执行的，也就是说一个方法执行完毕后才会执行下一个方法。在上述代码中，我们使用parallelStream方法将集合转换成并行流，并使用forEach方法遍历并执行每个元素对应的method1和method2方法。通过调用start方法，线程开始执行，这样就实现了同时执行两个方法的效果。通过使用并行流，我们可以将一个集合分成多个部分，并在多个线程上同时执行某个方法。需要注意的是，并行流并不一定在每次执行时都使用多线程，具体是否使用多线程取决于底层的实现和当前系统的配置。
2023-10-12 17:32:45
2051
原创 ssl证书双向认证访问https—解决javax.net.ssl.SSLHandshakeException: Received fatal alert: handshake_failure
替换${java_home}/jre/lib/security/ 下面的local_policy.jar和US_export_policy.jar即可。下载后解压，可以看到local_policy.jar和US_export_policy.jar以及readme.txt，但经过我一步步踩坑，到最终解决问题，我发现问题的原因并不完全和上面描述的一直，下面我一步步讲解我的解决过程。我是第三种，替换可jar文件，就可以运行了，撒花撒花撒花。别灰心，别气馁，继续Google。，那就把TLSv1.0去掉吧。
2023-10-12 17:00:37
1189
原创 数据库的bak格式备份与还原
简单的说，bak文件就是SQL Sever数据库的数据库备份文件的后缀名，不能直接打开，但是可以复制和发送，也就是在发送数据库库的时候其实是发送的bak文件，接收后先还原然后就可以看到其中的内容了。
2023-08-08 15:42:37
2192
原创 java不配置环境变量能用吗,不配置环境变量一样可以编译java源文件
1、解析：也可以，如果比较熟悉电脑，你把你安装java的文件夹拷贝一个，以后重新作了系统都可以不用再安装java，前提是你比较熟悉的情况下，如果你是个新手，如果你知道得太少，建议先按照别人说得来，然后慢慢自己摸索。5、环境变量所有OS都有，不止是是Java有 2 Java需要运行时有些参数是固定的，必须要设置，比如某些exe的搜索路径，类库的路径。而且你的java类必须放在和命令一样的地方。当你运行一些程序的时候，系统回到当前目录以及环境变量配置的目录去找要执行的程序，找的到就执行找不到就不执行。
2023-07-26 16:59:49
1570
原创 正则表达式 整数
-([1-9]\d*\.\d*|0\.\d*[1-9]\d*)$ //匹配负浮点数。^[1-9]\d*\.\d*|0\.\d*[1-9]\d*$ //匹配正浮点数。^-[1-9]\d*|0$ //匹配非正整数（负整数 + 0）^[1-9]\d*|0$ //匹配非负整数（正整数 + 0）
2023-06-15 09:30:08
76
原创 SLF4J: Failed to load class的问题及解决
先看看你工程中的slf4j-api的版本（比如我的是slf4j-api-1.7.25.jar），然后再http://mvnrepository.com/搜索SLF4J LOG4J 12 Binding。原文：https://www.cnblogs.com/xianfengzhike/p/9417307.html。下载slf4j-log4j12-1.7.25.jar。
2023-06-15 09:28:55
1597
原创 如何用 SQL 查询特殊字符（Tab 符、换行符、回车符、单引号、双单引号）
【代码】如何用 SQL 查询特殊字符（Tab 符、换行符、回车符、单引号、双单引号）
2023-06-13 11:00:46
1958
原创 Linux入门及Xshell基础设置
Xshell是一款强大的安全终端模拟软件，可以用在Windows界面下访问远端不同系统下的服务器，从而比较好的达到远程控制终端的目的。
2023-03-27 17:43:25
150
原创 图像文字识别：java调用tess4j识别图像文字
Tesseract-OCR支持中文识别，并且开源和提供全套的训练工具，是快速低成本开发的首选。前面记录过在java中调用tesseract-orc，该方法的原理是通过在java中调用cmd命令行，来执行tesseract，但是该方式需要下载软件，在电脑上安装环境，移植性不高。 而Tess4J则是Tesseract在Java PC上的应用。如果使用Tess4J只需要下载相关Jar包，导入项目，再把项目封装好就可以处处运行了，可移植性比较好。Tess4J在英文和数字识别中性能比较好，但是在中文识别中，无..
2022-05-16 16:51:44
1357
原创 SQL函数和存储过程的区别
本质上没区别。只是函数有如：只能返回一个变量的限制。而存储过程可以返回多个。而函数是可以嵌入在sql中使用的,可以在select中调用，而存储过程不行。执行的本质都一样。 函数限制比较多，比如不能用临时表，只能用表变量.还有一些函数都不可用等等.而存储过程的限制相对就比较少 1. 一般来说，存储过程实现的功能要复杂一点，而函数的实现的功能针对性比较强。 2. 对于存储过程来说可以返回参数，而函数只能返回值或者表对象。 3. 存储过程一般是作为一个独立的部分来执行，而函数可以作...
2022-04-28 15:28:36
2368
原创 7种SQL Join语句
1、SQL语句结构 select distinct < select_list > from < left_table > < join_type > join < right_table > on < join_condition > where < where_condition >group by < group_by_list > having...
2022-02-21 10:42:44
720
转载 java.nio.charset.IllegalCharsetNameException
java.nio.charset.IllegalCharsetNameException: 'ISO-8859-1'Jsoup.connect("http://www.design.cmu.edu/community.php?s=3").get();有人可以告诉我为什么代码给了我错误：java.nio.charset.IllegalCharsetNameException: 'ISO-8859-1'解答：问题出在目标页面上。它根本不是格式良好的。解析页面
2021-09-07 17:41:53
3925
原创 mysql和SqlServer 在存储过程写法上的区别
以一个最简单的查询语句的存储过程为例：mysql 版：********不带参数版********create PROCEDURE queryStaffProc() ----注意此处，就算是没有参数，也要加（），如果有参数输入或者输出，就写在（）中BEGINselect * from tb_staff ;ENDcall queryStaffProc; ---注意此处，调用要用call**********带输入参数版*************create PROCEDU...
2021-08-12 16:54:31
477
转载 MySQL 5.6 (Win7 64位)下载、安装与配置图文教程
MySQL是目前十分流行的一种关系型数据库管理系统。官网推出的安装包有两种格式，分别是：ZIP格式和MSI格式。其中MSI格式的可以直接点击安装，按照它给出的安装提示进行安装，一般MySQL将会安装在C:\Program Files\MySQL\MySQL Server x.x (x.x是版本号)该目录中；ZIP格式是自己解压，解压缩之后MySQL就可以使用了，但是要进行配置。我用的是ZIP格式的，所以，在此主要叙述ZIP格式的MySQL下载、安装与配置。一． 工具Win7 64位操作系统二．
2021-08-03 17:46:52
9224
转载 ffmpeg详细安装教程
这两天整理好用的录屏软件，发现了Captura这个软件，软件本身的安装很简单，但由于Captura需要依赖ffmpeg（一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序），而ffmpeg在安装上会略费些功夫。看了很多网上的回答，有的因为时间太久，页面已经有变更，有的又要设置环境变量。经过研究试用，整理出了ffmpeg的安装方法，下面详细讲解下。1、下载ffmpeg安装包到ffmpeg官网https://ffmpeg.org/download.html 按照下图所示红框位置点击
2021-07-23 13:54:14
13999
原创 7、HttpClient的使用
1、HttpClient简介在一般情况下，如果只是需要向Web站点的某个简单页面提交请求并获取服务器响应，HttpURLConnection完全可以胜任。但在绝大部分情况下，Web站点的网页可能没这么简单，这些页面并不是通过一个简单的URL就可访问的，可能需要用户登录而且具有相应的权限才可访问该页面。在这种情况下，就需要涉及Session、Cookie的处理了，如果打算使用HttpURLConnection来处理这些细节，当然也是可能实现的，只是处理起来难度就大了。为了更好地处理向...
2021-07-22 11:47:23
138
原创 6、HttpURLConnection的使用
1. GET请求与POST请求HTTP协议是现在Internet上使用得最多、最重要的协议了，越来越多的Java应用程序需要直接通过HTTP协议来访问网络资源。在介绍HttpURLConnection前，我们还是再来说一下URL请求最常用的两种方式：GET请求与POST请求。GET请求的数据会附在URL之后（就是把数据放置在HTTP协议头中），以?分割URL和传输数据，参数之间以&相连，如：http://localhost:8080/test.do?name=test&passw
2021-07-21 17:30:39
471
原创 5、URLConnection的使用
URLConnection的APIhttps://www.apiref.com/android-zh/java/net/URLConnection.html
2021-07-20 15:53:10
709
转载 抓取Bilibili哔哩哔哩网站视频(Java和Python双版本实现)
1、B站视频真实地址分析我一直觉得编程语言只是一种工具，重要的是思想????。下面先来分析下B站视频的真实地址。1.1 获取视频的信息数据使用PC通过浏览器随便打开一个B站的视频，右键检查或者是按F12，查看网页源代码。我们会发现有一个script标签内的内容是这样的。嗯，仿佛这就是视频的信息了。下面我们将其复制出来，格式化一下。window.__playinfo__ = { "data": { "accept_format": "flv720,
2021-07-20 13:44:47
10749
5
原创 3、创建IP代理池
当要查找某个网页的代理时，就可以直接通过网址和关键词获得有效的IP地址；利用自动获取IP，建立一个可用的IP代理池；放在要不断更换代理的程序上，就可不用手动添加代理了。package com.test;import java.util.ArrayList;import java.util.List;import java.util.Properties;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import .
2021-07-16 14:49:13
482
原创 2、SSL的问题，忽略安全证书
在获取源码前直接调用已写好的忽略HTTPS证书的代码。// 先调用下忽略https证书的再请求才可以HttpsUrlValidator.retrieveResponseFromServer(url);/** * @param url 地址 * * @return 返回对应地址的源码(Document) * */ public static Document getHtmlDoc(String url) {...
2021-07-16 14:37:37
1355
原创 1、Jsoup的GET请求/POST请求
一、Jsoup的GET无参请求public static void connectMethod() {// 有的时候，我们无法爬取一些网页，会出现403错误，因为这些网页为了防止别人恶意采集其信息所以进行了一些反爬虫的设置。那么如果我们向爬取这些网页的信息，应该怎么办呢？// 可以设置一些Headers信息，模拟成浏览器去访问这些网站，此时，就能够解决这个问题了。接下来我们来找找自己浏览器的Headers属性。 Document doc = null; try { String
2021-07-12 17:14:42
1021
转载 jd-gui反编译全过程，myeclipse中java web项目jar包没有红叉仍然显示感叹号，运行main函数提示errors exist in required project(s)
背景这两天java反编译了一个java web老项目，只需要修改里边一小段代码，并重新编译，但过程中出现了简单但又令人费解的问题。1.使用jd-gui.exe打开jar包（.war包直接改后缀名为.jar）图中显示，将RdqueryAction.class反编译出下结果，注意这是编译最终结果RdqueryAction.java的预览，不能在这里修改RdqueryAction.class文件，不然要反编译干嘛。2.关于内部类图中classA$classB格式的反编译java文件其实是指：cla
2021-05-26 10:10:39
753
java 爬虫显示412，怎么解决
2021-09-08
TA创建的收藏夹 TA关注的收藏夹
TA关注的人