Python爬虫
chandler_scut
只会调包的本科生
展开
-
Python爬虫实例:豆瓣Top250榜单爬取
Python爬虫实例:豆瓣Top250榜单爬取数据库课程设计需要一批真实的电影数据,故博主选择豆瓣Top250榜单作为数据来源。本次爬虫任务较为简单,唯一的难点在于正则语句的编写,故不进行分析。博主参考并改进了杨茜麟提供的代码,在其基础上增加了几个爬取的属性,最终爬取的属性为:排名、名字、导演、年份、地区、类型、评分。代码如下:import json import requests from requests.exceptions import RequestException import原创 2020-08-31 14:28:33 · 649 阅读 · 0 评论 -
Python爬虫实例:新闻总量爬取
Python爬虫实例:新闻总量爬取前言分析网页解析股票数据来源代理IP代码实现总结前言前段时间出于任务需要,需要爬取上证50指数成分股在某些日期内的新闻数量。一开始的想法是爬百度新闻高级搜索,但是后来某一天百度新闻高级搜索突然用不了,无论搜索什么都会跳转到百度主页,至今(2020.06.11)没有恢复,不知道是不是百度公司把这个业务停掉了。于是只能找替代品了,博主盯上了中国新闻高级搜索,号称是搜索界的国家队。分析网页解析欲爬虫,首先得解析网页url结构。首先以全文搜索关键词“工商银行”为例,原创 2020-06-11 12:58:46 · 2939 阅读 · 1 评论