![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
jack_201316888
这个作者很懒,什么都没留下…
展开
-
scrapy 爬虫知识介绍。
谈起爬虫必然要提起 Scrapy 框架,因为它能够帮助提升爬虫的效率,从而更好地实现爬虫。 Scrapy 是一个为了抓取网页数据、提取结构性数据而编写的应用框架,该框架是封装的,包含 request (异步调度和处理)、下载器(多线程的 Downloader)、解析器(selector)和 twisted(异步处理)等。对于网站的内容爬取,其速度非常快捷。 也许读者会感到迷惑,有这么好的爬虫框架,为什么前面的章节还要学习使用 requests 库请求网页数据。其实,requests 是一个功能十分强大的库,转载 2020-06-09 09:02:20 · 339 阅读 · 0 评论 -
在baidu爬取指定类型的图片
# coding:utf-8 import os import re import urllib import shutil import requests import itertools from urllib import parse # ------------------------ Hyperparameter ------------------------ ROOT_DIR = '/home/zhangwanchun/Downloads/fromnet/chache/' # 存放所原创 2020-06-05 15:13:51 · 261 阅读 · 0 评论