![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
淡泊 明志
这个作者很懒,什么都没留下…
展开
-
Python学习笔记
python中字典的key都可以是啥原创 2019-05-10 22:47:56 · 234 阅读 · 0 评论 -
猫眼,豆瓣电影的requests和re爬虫
记录一下自己第一次的爬虫,爬豆瓣的正则表达式写的不好,如果以后再看的时候想办法改改 猫眼电影 定义一个响应网页的函数 def response_one_page(url): #传入的参数是网址 header={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gec...原创 2019-07-18 17:41:53 · 500 阅读 · 0 评论 -
requests和re正则基础
本片文章主要记录最近所学基础内容,日后会有补充。 requests requests是一个第三方模块,可以用pip install requests命令行安装 requests的各种请求 import requests r=requests.get('http://httpbin.org/get') r=requests.post('http://httpbin.org/post') r=re...原创 2019-07-20 08:46:51 · 1229 阅读 · 0 评论 -
代理池维护
最近在看崔庆才的爬虫教程,按照教程搭载了一个代理池,进行如下总结: 崔庆才代理池博客https://cuiqingcai.com/7048.html 代理池的作用 解决短时间内频繁爬取同一网站导致IP封锁的情况。具体工作机制:从各大代理网站抓取免费IP —— 去重后以有序集合的方式保存到Redis中 —— 定时检测IP有效性、根据自己设定的分数规则进行优先级更改并删除分数为零(无效)的IP ——...原创 2019-08-09 11:29:38 · 519 阅读 · 0 评论