- 博客(9)
- 收藏
- 关注
RSS订阅原创 爬虫系列（5）视频下载
通过视频的bvid来下载视频。例如BV1dY4y1Z7UF，保存格式为FLV。未登录状态下只能下载480P，加入cookie可下载更高画质。
2023-01-19 00:29:33
269
1
原创 爬虫系列，（4），playwright使用说明
pyppeteer 相比与selenium优秀，但是搜索后发现长时间未有维护，非官方的python版本也不是很稳定，个人就想找一个新的爬虫库。因此找到了爬虫新库playwright，它具备强大的爬虫功能，目前看要比selenium稳定高效，接口也较为容易理解。https://playwright.dev/python/docs/intro#安装pippip install --upgrade pippip install playwrightplaywright install#conda
2022-04-29 11:29:29
1968
原创 爬虫系列，（3），达盖尔图片抓取
import reimport requestsfrom bs4 import BeautifulSoup# 第一步得到代理def proxy(): with open(r'ip_proxies\有效ip.txt', 'r', encoding='utf-8') as f: r = f.readlines() for ip in r: ...
2019-04-28 12:50:43
134476
2
原创 爬虫系列，（2），验证IP地址
import requestsfrom lxml import etreeheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36 Edge/15.15063...
2019-04-28 12:47:35
652
原创 predict时 出现的问题
在做predict(x)的时候会出现以下提示：Reshape your data either using array.reshape(-1, 1) if your data hasa single feature or array.reshape(1,-1) if it contains a singlesample.应该把x转化为array，如[[4]],[[1,2,3]]....
2019-04-28 12:44:48
1596
原创 伪头部字段
python 爬虫的请求头问题http2.0 构造请求头出现问题类似:method:scheme:authority:path:statusrequests无法构造，据说hyper可以。初学实在搞不定。url_start = ‘https://www.ssrtool.com/tool/free_ssr’url_true = ‘https://www.ssrtool.co...
2019-04-27 21:53:03
696
原创 爬虫系列，（1），ip代理抓取 python
import requestsfrom bs4 import BeautifulSoup# 目标地址和头# 得到的都是墙外的ip，问题就是要想登录目标地址必须先出去url = 'https://www.sslproxies.org/'headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Apple...
2019-04-26 16:45:30
403
转载 vscode 链接MySQL 遇到版本需升级的问题
因为密码更新不兼容，须在MySQL命令行运行//password 是你的数据库账户密码，root和host也是ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'password';参考来自https://www.cnblogs.com/Jiangchuanwei/p/10238958.html...
2019-04-26 12:45:32
403
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人