![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
文章平均质量分 79
Slatter
这个作者很懒,什么都没留下…
展开
-
用scrapy框架爬取豆瓣电影Top250
功能描述• 目标:获取豆瓣电影Top250的电影详细信息• 输出:保存到csv文件中• 技术路线:采用scrapy框架进行爬取程序结构设计(1)首先查看如何进行翻页处理,用鼠标点击其他页时不难发现网址中的start参数的取值会发生变化,由于每页罗列了25个电影信息,start的值是(对应页数-1)*25,采用一个循环就可以得到每页的url地址(2)由于该网页是静态HTML页面,因此可以直接根据网页源代码爬取相关电影信息(3)将结果存储到文件代码实现此处在spiders文件下新创建了一个to原创 2020-08-15 19:07:35 · 2668 阅读 · 1 评论 -
股票数据Scrapy爬虫
功能描述• 目标:获取上证A股股票名称和交易信息• 输出:保存到文件中• 技术路线:采用scrapy框架进行爬取此处选取股票信息静态存储在HTML页面中的页面进行爬取,之后会写一篇动态的爬取方式程序结构设计(1)首先得到股票代码,此处选取证券之星获得上证A股股票代码(2)根据股票代码到网易财经获取个股详细信息(3)将结果存储到文件代码实现此处在spiders文件下新创建了一个stocks.py文件stocks.py# -*- coding: utf-8 -*-import rei原创 2020-08-15 12:36:25 · 1053 阅读 · 0 评论 -
股票数据定向爬虫
功能描述• 目标:获取上证A股股票名称和交易信息• 输出:保存到文件中• 技术路线:requests + bs4 + re此处选取股票信息静态存储在HTML页面中的页面进行爬取,之后会写一篇动态的爬取方式程序结构设计(1)首先得到股票代码,此处选取证券之星获得上证A股股票代码(2)根据股票列表逐个到网易财经获取个股详细信息(3)将结果存储到文件代码实现import reimport timeimport tracebackimport requestsfrom bs4 im原创 2020-08-06 18:09:02 · 1089 阅读 · 0 评论