爬虫
Believer_abby
自己用来学习回顾的小地盘
展开
-
多线程爬取免费代理IP
思路:1、找到一家免费的高匿代理IP网站,解析网页结构获取有用的内容def get_html(url, headers): try: r = requests.get(url, headers=headers, timeout= 10) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return ""def get_proxy(html): soup = Bea原创 2020-10-28 12:50:44 · 457 阅读 · 0 评论 -
快速验证代理IP是否可用
利用的http://icanhazip.com/返回的IP进行校验,如返回的是代理池的IP,说明代理有效,否则实际代理无效import requestsrequests.adapters.DEFAULT_RETRIES = 3res1 = requests.get("http://icanhazip.com/",proxies={'http':"120.24.91.188:8080"},timeout=6)print(res1.text)上面这个如果打印出来的是 你放入proxies中的原创 2020-10-27 23:01:03 · 3707 阅读 · 1 评论