![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
天天要向上
这个作者很懒,什么都没留下…
展开
-
Pycharm编程环境下Scrapy框架进行爬虫
学过爬虫的朋友知道,requests库和BeautifulSoup4库可以爬取80%多的数据,但是还有少部分数据通过这两个库无法获取,所以今天介绍另外一个爬虫工具——Scrapy框架。1.Scrapy框架介绍Scrapy是用python实现的一个用于爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。用户只需要定制开发几个模块就可以轻松实现数据、图片等的爬取,非常方便。Scrap...原创 2019-09-27 14:36:55 · 825 阅读 · 0 评论 -
python爬取2019国庆热门景点1——数据爬取与保存
据文化和旅游部综合测算,2019年国庆7天全国共接待国内游客7.82亿人次,同比增长7.81%,今年真的太疯狂了。不知道回城搬砖的伙伴们国庆假期过的如何,哈哈哈题外话,想知道这个国庆哪些景点便宜又好玩吗?可以给明年的行程提前了。本文主要介绍数据的获取,以去哪儿网为例,打开去哪儿网首页,点击门票,搜索关键字“国庆”,网址url=https://piao.qunar.com/ticket/list....原创 2019-10-09 21:17:27 · 1187 阅读 · 1 评论