爬虫
文章平均质量分 51
Eamonze
这个作者很懒,什么都没留下…
展开
-
Win10 安装scrapy出现错误Microsoft Visual C++ 14.0 进行离线安装
命令行 python install scrapy 会报这个错:就是说你要安装 Microsoft Visual C++ 14.0 才能装好,所以可以选择百度安装这个,但是这软件实在比较吃c盘容量(微软开发,据说装在其它盘也照样吃c盘),配置跟不上,又不怎么用就没打算用这个正规方法了。介绍其他方法:首先感谢该博客的博主:https://blog.csdn.net/see_you_see_me/article/details/83027179先安装wheel:pip install wheel,装好原创 2021-02-07 12:39:17 · 567 阅读 · 0 评论 -
Python爬虫学习(scrapy框架)一
Scrapy入门Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。它使用Twisted 这个异步网络库来处理网络通讯,架构清晰,并且包含了各种中间件接口,可以灵活的完成各种需求。个人认为Scrapy是Pytho世界里最强大的爬虫框架,没有之一,它比BeautifulSoup更加完善,BeautifulSoup可以说是轮子,而Scrapy则是车子,不需要你关注太多的细节。Scrapy不仅支持python2.7,Python3也支持。安装scrapypip install scrapy原创 2020-12-29 21:54:35 · 458 阅读 · 0 评论 -
震惊!中国地震台网数据爬取
import scrapyimport refrom scrapy import Requestfrom urllib import parsefrom SpiderDemo.items import SpiderdemoItemclass CeicSpider(scrapy.Spider): name = 'ceic' allowed_domains = ['www.ceic.ac.cn/speedsearch?time=6'] start_urls = ['htt.原创 2020-12-05 23:36:39 · 1340 阅读 · 2 评论