![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
zkFun
热爱学习,持续产出。
展开
-
Python爬虫高手——scrapy框架
本文是Python爬虫高手爬爬爬的第八章内容,由于篇幅庞大自成一篇之前知识点移步->…/Python爬虫高手爬爬爬scrapy框架⭐⭐⭐什么是scrapy?爬虫中封装好的一个明星框架。功能:高性能的持久化存储,异步的数据下载,高性能的数据解析,分布式。1 环境的安装:mac or linux:pip install scrapywindows:- pip install wheel- 下载twisted,下载地址为http://www.lfd.uci.edu/~gohlke/p原创 2020-11-15 17:03:30 · 561 阅读 · 0 评论 -
Python爬虫高手爬爬爬(各种案例更新中。。。)
文章目录一、通用爬虫二、数据解析2.1 正则表达式2.2 bs42.3一、通用爬虫二、数据解析步骤:定位标签获取标签内的属性值2.1 正则表达式通过正则表达式匹配需要抓取的链接爬30页糗事百科的video图片:import requestsimport reimport os# 正则表达式if __name__ == '__main__': if not os.path.exists('./qiutuLibs'): os.mkdir('./qiutu原创 2020-10-18 20:29:43 · 7895 阅读 · 2 评论