- 博客(2)
- 收藏
- 关注
RSS订阅原创 关于使用BeautifulSoup报错
下载成功后 在你的cmd中 找到这个lxml-4.9.0-cp311-cp311-win_amd64.whl所在目录，这里为了方便我直接扔在D：/目录下了。直接运行 pip install lxml-4.9.0-cp311-cp311-win_amd64.whl。然后使用pip install lxml安装失败 一番了解后找到解决办法。中去下载和你python解释器对应的版本，否则会安装失败。在cmd 中输入python 查看你的版本。BeautifulSoup()就能正常使用啦。
2022-11-29 15:15:03
922
2
2023最新代理IP池+爬取某小说网站
文件功能介绍如下：
1.ip_api.py 代理API接口，这里地址我放到本地了
2.ip_collection.py 采集代理ip网站，这里总共采集了6个代理ip网站，目前我只采集了首页的ip，这些网站活跃度还可以，基本每日抓取一次即可
3.ip_verify.py 代理ip校验，检测代理IP是否可用
4.ip_set.py 开了三个进程，同时进行采集存储，校验代理ip和api调用接口同时运行
5.proxy_redis.py 这里代理ip目前放到redis中，该文件保护redis的各种操作
6.settings.py 配置文件不需要多说
7.ua_down.py 随机获取UA，这里我单独写入到一个文件中，看情况是否需要结合项目
8.uaTools.py 如果使用随机UA的话调用该文件即可，我在池子里随便放了将近三百个UA
9.爬小说网站.py 爬取某小说网站并下载保存到本地TXT文件
用到的包如下：
sanic、sanic_cors、requests、lxm、redis、fake_useragent
项目还有很多的优化空间，小伙伴们自行消化吧
2023-01-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人