- 博客(4)
- 收藏
- 关注
RSS订阅原创 Scrapy框架抓取豆瓣电影的小爬虫学习日记（三）
获取到影片信息之后，下一步就是要把获取到的信息进行保存了。网上很多的案例都是保存成json格式，这里我想用Mysql服务器来保存。
2017-10-27 14:33:05
372
原创 Scrapy框架抓取豆瓣电影的小爬虫学习日记（二）
爬虫模块创建完成后，仅仅拥有了网页下载功能，接下来就需要进行网页数据的提取。Scrapy有自己的一套数据提取机制，叫做选择器（selector），是通过特定的XPath或者CSS表达式来选择HTML文件中的某个部分。不过我之前主要使用的是BeautifulSoup包来解析网页，所以这里还继续用了BeautifulSoup，感兴趣的同学可以去找文章看看XPath的方法。
2017-09-11 13:07:28
444
原创 Scrapy框架抓取豆瓣电影的小爬虫学习日记（一）
安装完Scrapy框架，就很想试一下，平时对电影感兴趣，于是想着去豆瓣电影爬取一些电影资料，和我若干T的电影资源对接一下，哈哈！
2017-09-07 10:05:55
462
原创 Win10环境Python3.6安装Scrapy1.4（好多坑）
最近刚刚开始学习Python，先看了一些Python爬虫技术的文章，其中很多人都提到了Scrapy框架，于是想安装学习一下，结果弄了好久，遇到了各种坑，找了各种方法，终于填完。写下此文，希望对后来的小伙伴有些帮助。 我的系统环境是Win1064位，安装了Python3.6。 先说一下我遇到的几个大坑： 1、Scrapy1.4是支
2017-09-05 16:34:06
5066
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人