- 博客(34)
- 收藏
- 关注
原创 已解决requests.exceptions.SSLError: HTTPSConnectionPool certificate verify failed: unable to get local
问题的原因:需要禁用ssl证书。
2024-05-15 13:04:53
260
2
原创 Playwright控制本地浏览器绕过检
Playwright可以与本地Chrome浏览器通过ws方式通信,这样可以绕过大部分浏览器检测,因为这就是一个真正的浏览器,使得调用真实的浏览器更容易,同时能够保留浏览器的登录信息和cookie。
2024-04-26 16:27:51
818
原创 SyntaxError: Non-UTF-8 code starting with ‘\xc7‘ in file
脚本包含非 UTF-8 编码的字符,并且没有指定文件编码。在 Python 中,为了正确处理文件中的特殊字符,你需要在脚本的开头声明文件编码。按道理原来是UTF-8的形式时没问题的话,那应该在代码的开头加个默认utf-8,就可以了。
2024-04-22 13:07:56
715
原创 python onnxruntime DLL load failed: 找不到指定的模块
报错:ImportError: DLL load failed while importing onnxruntime_pybind11_state: 找不到指定的模块。这个错误通常是因为缺少onnxruntime_pybind11_state.dll文件或者没有正确安装onnxruntime库导致的。1.8.0版本,升级pip再重装ddddocr均无效。一般是缺少微软运行库环境,在安装ddddocr。
2024-04-16 16:25:24
1858
2
原创 python 随机获取User-Agent用户代理
我们在写爬虫时需要伪造浏览器User-Agent,可以手动准备,但太麻烦了,也可以用第三方库自动生成。
2024-03-08 11:33:58
321
原创 已解决python安装opencv报错ERROR: Could not build wheels for opencv-python
报错。
2024-02-23 16:31:28
2866
1
原创 Python的hashlib模块哈希算法模块MD5用法示例
值:65a8e27d8879283831b664bd8b7f0ad4。方法获取计算得到的MD5哈希值,并打印输出。编码为字节串后传入。在上述示例中,我们使用。
2024-02-01 09:44:17
380
原创 已解决psycopg2.errors.UndefinedColumn: column “md5“ does not exist错误
已解决psycopg2.errors.UndefinedColumn: column "md5" does not exist。,就是没这么个列,我检查了自己建的库确实没,那就新建个。在python 里写数据库查询语句,但是报错了,出现了。列“md5”不存在的。
2024-01-19 10:40:39
517
原创 《python爬虫练习》 使用随机的 User-Agent
在使用做爬虫的时候,我们需要伪装头部信息骗过网站的防爬策略,需要设置请求头。而在请求头中,随机更换User-Agent可以避免触发相应的反爬机制。Python 中的第三方模块 fake_useragent 就很好的解决了这个问题,它将给我们返回一个随机封装了好的头部信息,我们直接使用即可。以下简单介绍fake-useragent的安装使用,以及可能出现的问题和解决方法。安装。
2024-01-15 16:01:18
1333
原创 python 使用curl_cffi绕过指纹识别解决ja3指纹
比requests/tls_client快分开,和aiohttp/pycurl的速度比肩。curl_cffi 可模拟真实浏览器的 TLS | JA3 指纹。遇到一个网站,忽然发现无论如何如何更换UA和代理请求都是。支持JA3/TLS和http2指纹模拟;
2023-12-21 19:00:00
2603
原创 已解决8152, b‘String or binary data would be truncated.DB-Lib错误
翻译过来:OperationalError:(8152,b'字符串或二进制数据将被截断。DB-Lib错误消息20018,严重性16:\n常规SQL Server错误:检查来自SQL Server的消息\n')
2023-11-29 15:51:30
629
原创 数据库特殊字符解决方法
[42000] [Microsoft][SQL Server Native Client 10.0][SQL Server]'Öfdjjdffo' 附近有语法错误。在上面的示例中,我们使用 N'...' 表示一个 Unicode 字符串,并将 "Öfdjjdffo" 插入到 列中。UPDATE 表名 set jn='Öfdjjdffo' where 条件。UPDATE 表名 setjn=N'Öfdjjdffo' where 条件。'Öfdjjdffo' 附近有语法错误。
2023-11-15 13:22:18
519
原创 Python 国内镜像源
例如:pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple multiprocessing,这样就会从清华这边的镜像去安装multiprocessing库。例如:pip3 install -i 国内镜像源 包名。可以在使用pip3的时候加参数-i。python3的版本用下面命令。
2023-11-07 15:29:22
1236
原创 安装WSL时遇到“无法解析服务器名称或地址”的错误及解决方法
奇怪的是我看到别人机器上是能访问的,于是怀疑是DNS的问题,于是尝试修改了DNS之后发现可以正常访问了,WSL也顺利的装上了。
2023-10-19 22:11:28
5518
原创 selenium 驱动webdriver 安装
注意一定不要去点,谷歌浏览器设置去查看版本,它会自动更新成最新版本,要是不小心更新了,可查看这篇文章降级处理。2.驱动器下载版本跟浏览器版本前3个点一致,最后那个不一致都没关系。本机浏览器版本:104.0.5112.81。1.下载谷歌浏览器驱动器。
2023-08-24 15:51:47
225
1
原创 Chrome浏览器降级低版本教程
找到谷歌浏览器文件位置,删除C:Program Files/ 下谷歌应用文件, 可以右击谷歌浏览器快捷方式,打开文件所在位置,删除Google文件夹;(我的电脑没有AppData文件夹,若没有删除这个文件夹,不影响后续操作,但是有的话最好删除一下),找到Updater或GoogleUpdater文件夹,属性–>安全–>将所有的权限改为拒绝,注 :安装不上通常原因都是之前安装过chorme浏览器,但是卸载的时候有残余,要清理残余的。在任务管理器里找到GoogleUpdate,运行中的,直接结束任务。
2023-08-21 15:38:46
14595
1
原创 python爬虫视频m3u8实战
与直接播放MP4等视频文件不同,HLS将流媒体切分为若干TS片段,并通过一个扩展的M3U8列表文件将这些TS片段批量下载供客户端播放器实现实时流式播放。因此,在爬取HLS流媒体文件时,我们一般的思路是先下载M3U8文件并分析其中的内容,然后根据文件中定义的TS片段进行批量下载,最后将它们组合成MP4文件或直接保存TS片段。例如m3u8文件下载不下来,ts片段文件被加密了,甚至加密ts片段的密钥也被加密了。我这里省流,就没去合并视频,后面合并的步骤也简单。上完整代码,我没合并哈,
2023-08-18 17:30:00
1333
2
原创 快速构造Python爬虫请求,有这个网站就够了!!!
以上就是curlconverter的使用方法,尤其是面对一些复杂请求时,能极大地提升我们的开发效率,!!更多精彩内容请关注公众号:笔记分享社。
2023-05-06 20:30:00
631
原创 python使用MoviePy 视频合并报错:OSError: MoviePy error: failed to read the first frame of video file xxx的解决方法
!公众号:笔记分享社。
2023-04-23 19:30:00
1379
原创 已解决ModuleNotFoundError: No module named ‘pip‘错误
今天想要装一下playwright第三方库来写一下自动化的时候发现cmd窗口下无法执行pip命令,一看发现pip命令都用不了了,出现了ModuleNotFoundError: No module named 'pip’这个错误。已解决ModuleNotFoundError: No module named 'pip'已解决ModuleNotFoundError: No module named 'pip'pip被修复完成了,我重新安装playwright库,可以了。
2023-04-18 17:15:00
218
原创 已解决(8152, b‘String or binary data would be truncated.DB-Lib error message 20018, severity 16:\nGener
用python向数据库插入爬虫获取到的数据,但是发生了一个报错(当时我心里瞬间凉了一大截,最后解决了,顺便记录一下希望可以帮助到更多遇到这个错误不会解决的小伙伴),报错信息截图如下: 报错信息翻译:pymssql_mssql.MSSQLDatabaseException:(8152,b'字符串或二进制数据将被截断。DB-Lib错误消息20018,严重性16:\n常规SQL Server错误:检查来自SQL Server的消息\n')说明要存入的数据太长了。小伙伴们按下面的方法设置即可!!!这个报错是原因
2023-04-14 20:15:00
1268
原创 python实现判断路径文件夹是否存在,不存在则新建路径文件夹
要是没安装os库,使用pip install os。注意,如果路径的父目录不存在,路径是否存在,如果不存在,就使用。函数会递归地创建所有父目录。
2023-04-13 13:24:46
1893
原创 MySQL查询重复的数据教程
了解了以上步骤后,在实际的编程开发中我们就能够快速轻松地从Mysql数据库中获取需要的重复数据。在实际的编程过程中,有时会出现重复的数据,这就要求我们从数据库中提取出重复的数据。请注意,上述查询仅检查一个列的重复数据。如果您想要检查多个列的组合是否重复,请在GROUP BY子句中包含这些列的名称。列的值进行分组,并计算每个组的出现次数。然后使用HAVING子句过滤出现次数大于1的组,这些组中的行即为重复数据。首先,我们需要将数据库中所有需要查询的字段作为参数。
2023-04-11 19:00:00
1980
原创 sql server delete语句删除行
请注意SQLDELETE句子中的WHERE句子!WHERE句子规定需要删除哪个记录或哪个记录。如果省略WHERE句子,所有记录都会被删除!也就是说,您可以在不删除表格的情况下删除表格中的所有行。以上就是sql delete语句删除行的方法,我们在用sql时经常会用到删除的操作,而delete语句可以实现行的删除,大家学会后也来尝试下具体的使用吧。delete语句可删除表或视图中的一行或多行。中删除表,必须使用DROPTABLE语句。DELETE语句只从表中删除行,从。
2023-04-07 20:00:00
4436
原创 已解决Navicat导入mdb文件出现Cannot open Database !错误
在使用Navicat 导入access数据时,虽然已经打开了端口,但仍无法成功,其原因为未安装AccessDatabaseEngine_X64。去官网下载AccessDatabaseEngine_64.exe,下载链接。来分享一些自己遇到的问题及解决过程,希望能对大家有所帮助,望大家多多关照。往Navicat sqlserver中导入access数据失败。
2023-04-03 15:01:46
2587
原创 sql server EXCEPT用法运算
sql server EXCEPT用法 子句/操作符用于合并两个SELECT语句,并从那些没有被第二个SELECT语句返回的第一个SELECT语句返回行。select 字段名 from 表名 EXCEPT select 字段名 from 表名 EXCEPT select 字段名 from 表名;select 字段名, count(1) as count_num FROM 表名 group by 字段名 having count(1)>1;/*用差集检查**代码, 文章id不匹配情况*/
2023-03-31 16:56:34
1305
原创 已解决sqlalchemy.exc.ProgrammingError: (207, b“Invalid column name ‘DB_ID‘.DB-Lib error message 20018
已解决sqlalchemy.exc.ProgrammingError: (pymssql._pymssql.ProgrammingError) (207, b"Invalid column name 'DB_ID'.DB-Lib error message 20018, severity 16:\nGeneral SQL Server error: Check messages from the SQL Server\n")
2023-03-24 13:32:35
1238
原创 轻松解决python爬虫TTPSConnectionPool(host=‘www.webscan.cc’, port=443): 问题
已解决HTTPSConnectionPool(host=‘www.webscan.cc’, port=443): Max retries exceeded with url: /site_taobao.com (Caused by SSLError(SSLCertVerificationError(1, ‘[SSL: CERTIFICATE_VERIFY_FAILED]报错代码如下:原因 SSL 证书报错。
2023-03-23 19:30:00
1005
原创 mysql去除指定字段里的最后一个字符
在工作时,发现之前采集的数据保存路径有问题。错误如下:相信大家能看懂,后面多了个\杠,正常路径是没得。下面直接上处理教程,安排!!!1.去除指定字段的最后一个字符mysql方法。
2023-03-22 13:14:42
2852
原创 已解决sqlalchemy.exc.DataError: (psycopg2.errors.StringDataRightTruncation) value too long for type
用python向数据库插入爬虫获取到的数据,但是发生了一个报错(当时我心里瞬间凉了一大截,最后解决了,顺便记录一下希望可以帮助到更多遇到这个错误不会解决的小伙伴),报错信息截图如下: 报错信息如下:报错信息翻译:sqlalchemy.exc.DataError:(psycopg2.errors.StringDataRightTruncation)值太长,无法更改类型字符(255)说明要存入的数据太长了。小伙伴们按下面的方法设置即可!!!这个报错是原因设置的字段长度不够,查看了爬取的数据哪些要存的字
2023-03-21 12:58:59
863
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人