![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 72
逆流远航
这个作者很懒,什么都没留下…
展开
-
爬虫(性能相关)
多进程和多进程在何种情况下使用 IO密集型用多线程,爬虫就是IO密集型 计算密集型用多进程 多线程请求(多进程类似) from concurrent.futures import ThreadPoolExecutor import requests import time def func(url): response = requests.get(url) print(url...原创 2018-12-29 23:12:11 · 267 阅读 · 0 评论 -
爬虫(scrapy框架)
scrapy框架 ——下载页面 ——解析 ——并发 ——深度 安装scrapy框架 Linux pip3 install scrapy Windows a. pip3 install wheel b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted c. 进入下载目录,执行 pip3 install Twisted‑17....原创 2019-01-01 01:48:01 · 139 阅读 · 0 评论 -
爬虫(一)
requests模块 response = requests.get(‘url’) response.content response.text response.encoding response.apparent_encoding response.status_code response.cookies.get_dict() BeautifulSoup模块 from bs4 import B...原创 2018-12-26 03:33:10 · 94 阅读 · 0 评论