- 博客(3)
- 收藏
- 关注
原创 创建Scrapy项目(二)
上一篇我们已经搭建好了Scrapy框架,这一篇我们来获取网页上面的数据。第一步:解析网页结构,分析自己所要的数据打开网页,我们可以看到网页的结构如下图所示:我们想要的内容则是这部分内容(电影的内容以及电影的介绍)可能有些人觉得只弄这些东西没有意思,那我们继续进详情页看看,随便点开一个电影,进入详情页,我们可以看到网页里面有这些内容:图片太大有些电影详情页也没有图片,所以我就省去了,不过有图片的我还...
2018-06-14 17:55:33 317
原创 创建Scrapy项目(一)
作者默认各位学者都是已经安装好Scrapy框架的,接下来我们进行实战操作。环境:windows平台(win10专业版)编译器:Pycharm专业版(官网下载的然后网站上找的破解方法,破解方法会时时更新,所以读者要破解码之类的直接百度就好)第一步:创建Scrapy文件利用快捷键(win+R)快速打开运行窗口...
2018-06-14 16:00:26 1725
原创 Scrapy框架解读
学习python网络爬虫怎能不知道Scrapy这种简单易用的框架呢?今天我就给大家解读一下Scrapy这个框架。Scrapy是一款优秀的开源框架,由python开发,集屏幕抓取与web抓取与一身的优秀爬虫框架,操作简单,拓展方便。Scrapy用途广泛,除了可以进行网页抓取数据外,还可以进行数据挖掘,监测以及自动化测试。但在这里我们主要讲解它的爬虫部分功能。Scrapy框架本身是由7个部件组成,Sc...
2018-06-12 20:44:11 2295 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人