![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python爬虫
是落落呢
这个作者很懒,什么都没留下…
展开
-
代理ip
proxies有两种协议,http 和 https,访问http协议的网页,需要将代理设置成http,https 也是如此,如果设置错误,仍会使用你自己的IP地址。https://icanhazip.com/ 这个链接可以查看你访问这个网页所使用的的IP地址。import requestsimport timefrom bs4 import BeautifulSoupurl1 = 'https://icanhazip.com/'header = { 'User-Agent': 'Mo原创 2021-02-25 13:17:06 · 5823 阅读 · 0 评论 -
[WinError 10054] 远程主机强迫关闭了一个现有的连接
出现这样的错误,是因为我们访问的速度过于频繁,致使网页认为我们是恶意的攻击行为,就出现了远程主机强迫关闭的现象。加上 time.sleep(time) 放慢一下我们的速度,减少我们的循环访问,避免过频繁的访问。...原创 2021-02-24 22:19:28 · 6905 阅读 · 0 评论 -
刷赞
看明白这一篇呢,需要搞懂之前的两篇,点赞(豆瓣篇)proxies两篇一结合,就可以实现点赞啦import requestsimport time# 带入了个py文件 get_IP.pyimport get_IP# 豆瓣post_url = ' https://m.douban.com/rexxar/api/v2/note/795061634/react'post_data = { 'reaction_type': '1 ', 'ck': 'DkpI'}# 调用原创 2021-02-22 15:16:44 · 63801 阅读 · 0 评论 -
构造代理ip池
刷票啊,刷赞啊,一些刷的东西,都需要用到代理ip,也就是python爬虫中的proxies,今天就检测了一个免费的开放的代理ip网站里的东西,结果,免费的果然是免费的,可用的真的不咋地。import requestsfrom bs4 import BeautifulSoupimport timebaidu_url = 'https://www.baidu.com/'# 存放ip地址ip_lists = []useful_ip = []url = 'https://www.89ip.cn/'原创 2021-02-22 15:02:52 · 200 阅读 · 0 评论 -
点赞(豆瓣篇)
这一次我们要在登录的基础上实现新的功能,实现点赞,我么用代码实现。还不是很清楚爬虫的模拟登陆的可以再看一看这篇文章python爬虫之模拟登陆(豆瓣)先登录进行一次手动点赞我们的目标它就出现了,来吧,展示首先,找到目标链接然后就是我们提交的表单信息啦import requestspost_url = ' https://m.douban.com/rexxar/api/v2/note/795061634/react'post_data = { 'reaction_type': '原创 2021-02-21 20:13:16 · 456 阅读 · 0 评论 -
python爬虫之模拟登陆(豆瓣)
之前试着搞一下CSDN,结果把我给整懵了,所以啊,得找个软柿子捏一捏,就是觉得这次的目标好欺负。这个就是登录页面啦这就是我们的目标了,就是要请求这个登录后的对比网页源码的一部分,好查看结果,或者直接保存网页并查看import requestsget_url = 'https://www.douban.com/'header = { 'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) Apple原创 2021-02-17 22:34:20 · 1662 阅读 · 1 评论 -
python爬虫之模拟登陆(CSDN篇)
最近想搞一下爬虫的模拟登陆,就想直接拿CSDN练手了,一开始还想着一篇文章写完,下到一半发现,大意了,CSDN有加密,得慢慢啃了,对我这个新手来说,相当有难度,所以就分成好几篇啦。打开F12,查看网页源码点击F5刷新,并勾选preserve log勾选preserve log 是为了查看登陆成功后,也就是页面刷新前的网页文件,我们需要搞清楚它提交了什么样的参数。进行一次账号登陆这一次账号登陆就是为了搞清楚发送给服务器的参数,在这里建议使用错误的账号和密码,进行一次失败登陆,这样会方便的找到响应原创 2021-02-17 21:21:06 · 941 阅读 · 3 评论