目标页面链接:http://dianying.2345.com/top/hot.html
爬取目标:获取最热电影排行榜10部电影的电影名,演员,简介
使用模块:Scrapy模块
一,创建工程
找一个文件夹,打开cmd进入该目录。
输入命令:
Scrapy startproject todayMovie
该目录下多了一个叫todayMovie的文件夹
二,创建爬虫程序
用cd先进入todayMovie目录,输入命令:
Scrapy genspider wuHanMovieSpider 2345.com
该命令创建了一个叫wuHanMovieSpider的爬虫
这时查看spiders目录可以看到多了一个wuHanMovieSpider.py,就是我们刚创建的爬虫。
三, 编辑爬虫
用pycharm打开刚才创建的工程准备编辑爬虫
(1)编辑item.py
(2)编辑wuHanMovieSpider.py
(3)编辑pipelines.py
(4)修改settings.py(把这三行代码的注释符去掉)
四,运行爬虫
在爬虫根目录执行命令:
Scrapy crawl wuHanMovieSpider
也可以直接在pycharm中运行
运行完毕可以看到多了个wuhan.txt
可以看到爬取成功