![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python 爬虫学习
学习耿
这个作者很懒,什么都没留下…
展开
-
python-scrapy框架学习
scrapy框架学习scrapy框架基本使用创建一个工程执行工程scrapy数据解析持久化存储基于终端指令的持久化存储基于管道的持久化存储基于管道实现数据的备份scrapy 的手动请求发送的全站数据爬取五大核心组件scrapy框架基本使用简介:所谓的框架其实就是一个被集成了很多功能且具有很强通用性的一个项目模板学习: 学习是框架中集成好的各种功能的特性是作用进阶:逐步探索框架的底层scrapy:是一个专门用来异步爬虫的框架高性能的数据解析,请求发送,持久化存储,全站数据爬取,中间件,分布式原创 2021-07-09 20:42:06 · 206 阅读 · 0 评论 -
利用xpath数据解析爬取百度新闻热榜
利用xpath数据解析爬取百度新闻import requestsfrom lxml import etreeheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36' }url=' http://top.baidu.com/?fr=mhd_card&q原创 2021-04-08 20:06:03 · 1332 阅读 · 0 评论 -
python利用bs4爬取外国高清图片网站
python利用bs4爬取外国高清图片网站爬取高清图片爬取高清图片import re import requestsfrom bs4 import BeautifulSoupimport os# 创建文件夹dirName = 'img'if not os.path.exists(dirName): os.mkdir(dirName)url = 'https://wallhaven.cc/toplist?page=1'headers = { 'user-agent':原创 2021-04-08 20:02:14 · 238 阅读 · 0 评论