爬虫
小火2016
这个作者很懒,什么都没留下…
展开
-
解决PYTHON爬取:RESPONSE.STATUS_CODE为418、403 问题
问题1:初步解决响应状态418python爬取豆瓣网站电影:url = ‘https://movie.douban.com/?start=0&filter=’import requestsurl = 'https://movie.douban.com/top250?start=0&filter='res =requests.get(url)print(res.status_code)响应状态:418正常返回状态应该是 200问题解决参考链接: req原创 2020-07-31 19:09:36 · 4177 阅读 · 1 评论 -
爬取淘宝商品信息,数据分析与展示
# CrowTaobaoPrice.pyimport requestsimport redef getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding ...原创 2018-07-31 10:57:33 · 926 阅读 · 0 评论 -
基于prthon爬取潍坊学院贴吧数据
# -*-coding:utf-8-*-"""获取百度贴吧:潍坊学院的基本内容爬虫线路:requests - bs4Python版本:3.51. 从网上爬下特定页码的网页2. 对于爬下的页面内容进行简单的筛选分析3. 找到每一篇帖子的 标题、发帖人、日期、楼层、以及跳转链接4. 将结果保存到文本"""import requestsimport timefrom bs...转载 2019-08-22 11:09:16 · 358 阅读 · 0 评论 -
基于python爬取最好大学数据
#CrawUnivRankingB.pyimport requestsfrom bs4 import BeautifulSoupimport bs4def getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for_status() r.encoding...原创 2019-08-22 19:53:59 · 264 阅读 · 0 评论