Cake_C的博客

项目中遇到这样一个问题:我要爬取一个国外网站，requests必须走全局代理，但是存的数据库在国内，不可以用全局代理（否则直接超时）所以本地代理必须开成PAC但是此时老版的request将无法走PAC加速，因为不支持socks所以将request更新为支持socks的版本:pip install -U requests[socks]proxies = { "http": "socks5://127.0.0.1:1086", 'https': 'socks5://127.0.0

原文指路：https://cuiqingcai.com/1319.html这里为自己记录一些常用方法：实例化对象：soup = BeautifulSoup(html)创建一个beautifulsoup对象从爬虫爬下来的response可以用soup = BeautifulSoup(res.text)获得标签：对这样的html文档<title>The Dormouse's story</title><a class="sister" href="http:/