python爬虫
萧丶RY
这个作者很懒,什么都没留下…
展开
-
Python爬取中国天气网指定城市天气
功能:输入城市名称,得到该城市天气以及天气更新时间,还可根据需要决定是否查看更多天气信息。效果:完整代码:import pandas as pdimport requestsimport re#创建一个字典存储中国天气网城市代码def createCityCode(): fh = r'text\中国天气网城市代码.csv' data = pd.read_csv(...原创 2019-04-07 11:23:23 · 5927 阅读 · 3 评论 -
python诗词名句网爬取《三国演义》
import requestsimport reheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'}#爬取章节内容def textPaqu(ur...原创 2019-03-10 15:27:01 · 1240 阅读 · 0 评论 -
爬取豆瓣电影top75测试多线程
用threading模块写一个简单的多线程爬虫和单线程爬虫对比爬取速度import requestsimport reimport threadingimport time# 单线程爬取def spider(url,headers): response = requests.get(url,headers).text pattern = re.compile('<...原创 2019-03-16 13:10:14 · 423 阅读 · 0 评论 -
爬虫与反爬虫大战
爬虫与发爬虫的厮杀,一方为了拿到数据,一方为了防止爬虫拿到数据,谁是最后的赢家?重新理解爬虫中的一些概念爬虫:自动获取网站数据的程序反爬虫:使用技术手段防止爬虫程序爬取数据误伤:反爬虫技术将普通用户识别为爬虫,这种情况多出现在封ip中,例如学校网络、小区网络再或者网络网络都是共享一个公共ip,这个时候如果是封ip就会导致很多正常访问的用户也无法获取到数据。所以相对来说封ip的策略不是特别好...转载 2019-04-20 13:49:06 · 477 阅读 · 0 评论