- 博客(34)
- 收藏
- 关注
RSS订阅原创 已解决requests.exceptions.SSLError: HTTPSConnectionPool certificate verify failed: unable to get local
问题的原因：需要禁用ssl证书。
2024-05-15 13:04:53
260
2
原创 Playwright控制本地浏览器绕过检
Playwright可以与本地Chrome浏览器通过ws方式通信，这样可以绕过大部分浏览器检测，因为这就是一个真正的浏览器，使得调用真实的浏览器更容易，同时能够保留浏览器的登录信息和cookie。
2024-04-26 16:27:51
818
原创 SyntaxError: Non-UTF-8 code starting with ‘\xc7‘ in file
脚本包含非 UTF-8 编码的字符，并且没有指定文件编码。在 Python 中，为了正确处理文件中的特殊字符，你需要在脚本的开头声明文件编码。按道理原来是UTF-8的形式时没问题的话，那应该在代码的开头加个默认utf-8，就可以了。
2024-04-22 13:07:56
715
原创 python onnxruntime DLL load failed: 找不到指定的模块
报错：ImportError: DLL load failed while importing onnxruntime_pybind11_state: 找不到指定的模块。这个错误通常是因为缺少onnxruntime_pybind11_state.dll文件或者没有正确安装onnxruntime库导致的。1.8.0版本，升级pip再重装ddddocr均无效。一般是缺少微软运行库环境，在安装ddddocr。
2024-04-16 16:25:24
1858
2
原创 python 随机获取User-Agent用户代理
我们在写爬虫时需要伪造浏览器User-Agent，可以手动准备，但太麻烦了，也可以用第三方库自动生成。
2024-03-08 11:33:58
321
原创 已解决python安装opencv报错ERROR: Could not build wheels for opencv-python
报错。
2024-02-23 16:31:28
2866
1
原创 Python的hashlib模块哈希算法模块MD5用法示例
值：65a8e27d8879283831b664bd8b7f0ad4。方法获取计算得到的MD5哈希值，并打印输出。编码为字节串后传入。在上述示例中，我们使用。
2024-02-01 09:44:17
380
原创 已解决psycopg2.errors.UndefinedColumn: column “md5“ does not exist错误
已解决psycopg2.errors.UndefinedColumn: column "md5" does not exist。，就是没这么个列，我检查了自己建的库确实没，那就新建个。在python 里写数据库查询语句，但是报错了，出现了。列“md5”不存在的。
2024-01-19 10:40:39
517
原创 《python爬虫练习》 使用随机的 User-Agent
在使用做爬虫的时候，我们需要伪装头部信息骗过网站的防爬策略，需要设置请求头。而在请求头中，随机更换User-Agent可以避免触发相应的反爬机制。Python 中的第三方模块 fake_useragent 就很好的解决了这个问题，它将给我们返回一个随机封装了好的头部信息，我们直接使用即可。以下简单介绍fake-useragent的安装使用，以及可能出现的问题和解决方法。安装。
2024-01-15 16:01:18
1333
原创 python 使用curl_cffi绕过指纹识别解决ja3指纹
比requests/tls_client快分开，和aiohttp/pycurl的速度比肩。curl_cffi 可模拟真实浏览器的 TLS | JA3 指纹。遇到一个网站,忽然发现无论如何如何更换UA和代理请求都是。支持JA3/TLS和http2指纹模拟；
2023-12-21 19:00:00
2603
原创 已解决8152, b‘String or binary data would be truncated.DB-Lib错误
翻译过来：OperationalError:（8152，b'字符串或二进制数据将被截断。DB-Lib错误消息20018，严重性16:\n常规SQL Server错误：检查来自SQL Server的消息\n'）
2023-11-29 15:51:30
629
原创 数据库特殊字符解决方法
[42000] [Microsoft][SQL Server Native Client 10.0][SQL Server]'Öfdjjdffo' 附近有语法错误。在上面的示例中，我们使用 N'...' 表示一个 Unicode 字符串，并将 "Öfdjjdffo" 插入到 列中。UPDATE 表名 set jn='Öfdjjdffo' where 条件。UPDATE 表名 setjn=N'Öfdjjdffo' where 条件。'Öfdjjdffo' 附近有语法错误。
2023-11-15 13:22:18
519
原创 Python 国内镜像源
例如：pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple multiprocessing，这样就会从清华这边的镜像去安装multiprocessing库。例如：pip3 install -i 国内镜像源 包名。可以在使用pip3的时候加参数-i。python3的版本用下面命令。
2023-11-07 15:29:22
1236
原创 安装WSL时遇到“无法解析服务器名称或地址”的错误及解决方法
奇怪的是我看到别人机器上是能访问的，于是怀疑是DNS的问题，于是尝试修改了DNS之后发现可以正常访问了，WSL也顺利的装上了。
2023-10-19 22:11:28
5518
原创 selenium 驱动webdriver 安装
注意一定不要去点，谷歌浏览器设置去查看版本，它会自动更新成最新版本，要是不小心更新了，可查看这篇文章降级处理。2.驱动器下载版本跟浏览器版本前3个点一致，最后那个不一致都没关系。本机浏览器版本：104.0.5112.81。1.下载谷歌浏览器驱动器。
2023-08-24 15:51:47
225
1
原创 Chrome浏览器降级低版本教程
找到谷歌浏览器文件位置，删除C:Program Files/ 下谷歌应用文件， 可以右击谷歌浏览器快捷方式，打开文件所在位置，删除Google文件夹；（我的电脑没有AppData文件夹，若没有删除这个文件夹，不影响后续操作，但是有的话最好删除一下），找到Updater或GoogleUpdater文件夹，属性–>安全–>将所有的权限改为拒绝，注 ：安装不上通常原因都是之前安装过chorme浏览器，但是卸载的时候有残余，要清理残余的。在任务管理器里找到GoogleUpdate，运行中的，直接结束任务。
2023-08-21 15:38:46
14595
1
原创 python爬虫视频m3u8实战
与直接播放MP4等视频文件不同，HLS将流媒体切分为若干TS片段，并通过一个扩展的M3U8列表文件将这些TS片段批量下载供客户端播放器实现实时流式播放。因此，在爬取HLS流媒体文件时，我们一般的思路是先下载M3U8文件并分析其中的内容，然后根据文件中定义的TS片段进行批量下载，最后将它们组合成MP4文件或直接保存TS片段。例如m3u8文件下载不下来，ts片段文件被加密了，甚至加密ts片段的密钥也被加密了。我这里省流，就没去合并视频，后面合并的步骤也简单。上完整代码，我没合并哈，
2023-08-18 17:30:00
1333
2
原创 快速构造Python爬虫请求，有这个网站就够了！！！
以上就是curlconverter的使用方法，尤其是面对一些复杂请求时，能极大地提升我们的开发效率，！！更多精彩内容请关注公众号：笔记分享社。
2023-05-06 20:30:00
631
原创 python使用MoviePy 视频合并报错：OSError: MoviePy error: failed to read the first frame of video file xxx的解决方法
！公众号：笔记分享社。
2023-04-23 19:30:00
1379
原创 已解决ModuleNotFoundError: No module named ‘pip‘错误
今天想要装一下playwright第三方库来写一下自动化的时候发现cmd窗口下无法执行pip命令，一看发现pip命令都用不了了，出现了ModuleNotFoundError: No module named 'pip’这个错误。已解决ModuleNotFoundError: No module named 'pip'已解决ModuleNotFoundError: No module named 'pip'pip被修复完成了，我重新安装playwright库，可以了。
2023-04-18 17:15:00
218
原创 已解决(8152, b‘String or binary data would be truncated.DB-Lib error message 20018, severity 16:\nGener
用python向数据库插入爬虫获取到的数据，但是发生了一个报错（当时我心里瞬间凉了一大截，最后解决了，顺便记录一下希望可以帮助到更多遇到这个错误不会解决的小伙伴），报错信息截图如下： 报错信息翻译：pymssql_mssql.MSSQLDatabaseException：（8152，b'字符串或二进制数据将被截断。DB-Lib错误消息20018，严重性16:\n常规SQL Server错误：检查来自SQL Server的消息\n'）说明要存入的数据太长了。小伙伴们按下面的方法设置即可！！！这个报错是原因
2023-04-14 20:15:00
1268
原创 python实现判断路径文件夹是否存在，不存在则新建路径文件夹
要是没安装os库，使用pip install os。注意，如果路径的父目录不存在，路径是否存在，如果不存在，就使用。函数会递归地创建所有父目录。
2023-04-13 13:24:46
1893
原创 MySQL查询重复的数据教程
了解了以上步骤后，在实际的编程开发中我们就能够快速轻松地从Mysql数据库中获取需要的重复数据。在实际的编程过程中，有时会出现重复的数据，这就要求我们从数据库中提取出重复的数据。请注意，上述查询仅检查一个列的重复数据。如果您想要检查多个列的组合是否重复，请在GROUP BY子句中包含这些列的名称。列的值进行分组，并计算每个组的出现次数。然后使用HAVING子句过滤出现次数大于1的组，这些组中的行即为重复数据。首先，我们需要将数据库中所有需要查询的字段作为参数。
2023-04-11 19:00:00
1980
原创 sql server delete语句删除行
请注意SQLDELETE句子中的WHERE句子！WHERE句子规定需要删除哪个记录或哪个记录。如果省略WHERE句子，所有记录都会被删除！也就是说，您可以在不删除表格的情况下删除表格中的所有行。以上就是sql delete语句删除行的方法，我们在用sql时经常会用到删除的操作，而delete语句可以实现行的删除，大家学会后也来尝试下具体的使用吧。delete语句可删除表或视图中的一行或多行。中删除表，必须使用DROPTABLE语句。DELETE语句只从表中删除行，从。
2023-04-07 20:00:00
4436
原创 已解决Navicat导入mdb文件出现Cannot open Database ！错误
在使用Navicat 导入access数据时，虽然已经打开了端口，但仍无法成功，其原因为未安装AccessDatabaseEngine_X64。去官网下载AccessDatabaseEngine_64.exe,下载链接。来分享一些自己遇到的问题及解决过程，希望能对大家有所帮助，望大家多多关照。往Navicat sqlserver中导入access数据失败。
2023-04-03 15:01:46
2587
原创 sql server EXCEPT用法运算
sql server EXCEPT用法 子句/操作符用于合并两个SELECT语句，并从那些没有被第二个SELECT语句返回的第一个SELECT语句返回行。select 字段名 from 表名 EXCEPT select 字段名 from 表名 EXCEPT select 字段名 from 表名；select 字段名, count(1) as count_num FROM 表名 group by 字段名 having count(1)>1;/*用差集检查**代码， 文章id不匹配情况*/
2023-03-31 16:56:34
1305
原创 已解决sqlalchemy.exc.ProgrammingError: (207, b“Invalid column name ‘DB_ID‘.DB-Lib error message 20018
已解决sqlalchemy.exc.ProgrammingError: (pymssql._pymssql.ProgrammingError) (207, b"Invalid column name 'DB_ID'.DB-Lib error message 20018, severity 16:\nGeneral SQL Server error: Check messages from the SQL Server\n")
2023-03-24 13:32:35
1238
原创 轻松解决python爬虫TTPSConnectionPool(host=‘www.webscan.cc’, port=443): 问题
已解决HTTPSConnectionPool(host=‘www.webscan.cc’, port=443): Max retries exceeded with url: /site_taobao.com (Caused by SSLError(SSLCertVerificationError(1, ‘[SSL: CERTIFICATE_VERIFY_FAILED]报错代码如下：原因 SSL 证书报错。
2023-03-23 19:30:00
1005
原创 mysql去除指定字段里的最后一个字符
在工作时，发现之前采集的数据保存路径有问题。错误如下：相信大家能看懂，后面多了个\杠，正常路径是没得。下面直接上处理教程，安排！！！1.去除指定字段的最后一个字符mysql方法。
2023-03-22 13:14:42
2852
原创 已解决sqlalchemy.exc.DataError: (psycopg2.errors.StringDataRightTruncation) value too long for type
用python向数据库插入爬虫获取到的数据，但是发生了一个报错（当时我心里瞬间凉了一大截，最后解决了，顺便记录一下希望可以帮助到更多遇到这个错误不会解决的小伙伴），报错信息截图如下： 报错信息如下：报错信息翻译：sqlalchemy.exc.DataError:（psycopg2.errors.StringDataRightTruncation）值太长，无法更改类型字符（255）说明要存入的数据太长了。小伙伴们按下面的方法设置即可！！！这个报错是原因设置的字段长度不够，查看了爬取的数据哪些要存的字
2023-03-21 12:58:59
863
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人