![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
案例
Lingguo_0921
这个作者很懒,什么都没留下…
展开
-
案例:scrapy图片数据爬取之ImagesPipeline
1.需求:爬取站长素材中的高清图片(http://sc.chinaz.com/tupian/) 2.编码流程 创建和使用 Scrapy 工程:scrapy startproject imgPro 创建出爬虫文件: cd myscrapy scrapy genspider -t crawl imgspider www.xxx.com 数据解析(图片地址) 将存储图片地址的item提交到自定义的管道类 在管道文件中自定义一个继承于ImagesPipeline的管道类 重写三个方法 原创 2020-09-30 17:21:50 · 497 阅读 · 0 评论 -
使用scrapy将爬取的数据一份保存在本地,一份保存在数据库中
1.需求:获取糗事百科的作者和段子 2.准备: - 创建和使用 Scrapy 工程 - `scrapy startproject qiubaiPro` - 创建爬虫文件 - cd qiubaiPro - scrapy genspider qiubai www.xxx.com 3.代码展示 qiubai.py import scrapy from qiubaiPro.items import QiubaiproItem class QiubaiSpider(scrapy.Spider):原创 2020-09-30 17:09:31 · 662 阅读 · 1 评论 -
案例:使用Scrpay基于CrawSpide类的全站数据
文章目录1.页面分析2.用 Scrapy 编写网络爬虫 1.页面分析 需求:爬取糗事百科段子板块的 标题,发布时间,评论数,内容 分析:爬取的数据没有在同一张页面中, 使用链接提取器提取所有的页码链接; 使用链接提取器提取所有段子详情页的链接。 2.用 Scrapy 编写网络爬虫 2.1 创建和使用 Scrapy 工程 Scrapy 框架提供了一个 scrapy 命令用来建立 Scrapy 工程,可以使用下面的命令建立一个名为qiubai_crawl 的 Scrapy 工程。 scrapy sta原创 2020-09-30 16:42:51 · 228 阅读 · 0 评论 -
案例:使用selenium模拟qq登入
示例代码 from selenium import webdriver from time import sleep #实例化浏览器对象 bro = webdriver.Chrome(executable_path='./chromedriver') url = "https://qzone.qq.com/" bro.get(url) #使用账号密码登入 # 账号密码对应标签在iframe页面中,需要切换作用域,再定位标签并点击 bro.switch_to.frame('login_frame') a_ta原创 2020-09-30 15:23:41 · 1049 阅读 · 0 评论