![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 55
海绵-_-b
这个作者很懒,什么都没留下…
展开
-
网页解析工具(XPath与正则表达式)
XPathlxml库功能lxml是一个HTML/XML的解析器,主要的功能是如何解析和提取HTML/XML数据基本使用利用来解析HTML代码,并在解析时,如果HTML代码不规范,将自动进行补全from lxml import etreetext = '''<div> hello world</div>'''html = etree.HTML(text) #返回html对象#html = etree.parse('hello.html') #从文件读取ht原创 2022-04-07 23:25:31 · 2917 阅读 · 0 评论 -
scrapy数据库异步存储操作
异步保存使应用程序无需等待存储操作完成即可执行后续命令,进而提高执行效率。scrapy通过twisted框架实现,twisted为事件驱动的异步框架。使用twisted.enterprise.adbapi来创建连接池使用runlnteraction来运行插入sql语句的函数在插入sql语句的函数中,第一个非self的参数就是cursor对象,使用这个对象执行sql语句。settings.py解除Configure item pipelines的注释添加数据库信息item_pipeli原创 2021-03-27 17:21:00 · 453 阅读 · 3 评论 -
scrapy下载文件
spider.py导入用于保存文件下载信息的item类.在爬虫类中解析文件url,并保存在列表中,根据需要提取标题等其它信息返回赋值后的item类from ..items import FileItemclass MySpider(Spider): def parse(self,response): titles = response.xpath('xxxxxxxx') #list,获取文件名称列表 fileUrls = respons原创 2021-03-24 22:05:48 · 1208 阅读 · 0 评论 -
scrapy下载图片
spider.py导入用于保存图片下载信息的item类.在爬虫类中解析图片url,并保存在列表中,根据需要提取标题等其它信息返回赋值后的item类from ..items import ImageItemclass MySpider(Spider): def parse(self,response): titles = response.xpath('xxxxxxxxx') #list,获取网页标题 title = ''.join(ti原创 2021-03-24 16:11:05 · 603 阅读 · 0 评论