python36(2018-3-1)
文章平均质量分 72
心月流云
......
展开
-
scrapy框架的使用方法
1.第一步:创建爬虫项目2.使用pycharm打开爬虫项目打开结果如下(目录结构):3.第三步:创建爬虫说明:在ivskyspider文件中创建,所以需要先进入ivskyspider说明:一个项目可以创建多个爬虫文件4.第四步:打开新建的爬虫文件ivsky.py文件结构如下:5.执行代码:方法一:打开Teminal方法二:在第一个IvskySpider的位置新建文件不想在终端运行程序时,先新建此文...原创 2018-03-01 17:50:23 · 5898 阅读 · 0 评论 -
利用scrapy框架爬取并下载天堂图片网的图片和数据
1. 通过命令创建项目 scrapy startproject IvskySpider2. 用pycharm打开项目3. 通过命令创建爬虫(Terminal中输入以下命令) scrapy genspider ivsky ivsky.com4. 配置settings robots_obey=False Download_delay=0.5 ...原创 2018-03-01 18:55:47 · 935 阅读 · 0 评论