ClearLove的博客

spider爬虫文件 douyugirl.py# -*- coding: utf-8 -*-import scrapyimport jsonfrom douyu.items import DouyuItemimport requestsclass DouyugirlSpider(scrapy.Spider): name = 'douyugirl' allowed_...

spider代码 mmiao.py 主要代码如下:# -*- coding: utf-8 -*-import scrapyfrom scrapy import Selectorfrom miao.items import MiaoItemclass MmiaoSpider(scrapy.Spider): name = 'mmiao' offset = 0 ...

序本文主要内容：以最短的时间写一个最简单的爬虫，可以抓取论坛的帖子标题和帖子内容。本文受众：没写过爬虫的萌新。入门0.准备工作需要准备的东西： Python、scrapy、一个IDE或者随便什么文本编辑工具。1.技术部已经研究决定了，你来写爬虫。随便建一个工作目录，然后用命令行建立一个工程，工程名为miao，可以替换为你喜欢的名字。scrapy startproj...

IndexError: list index out of range刚开始做scrapy爬虫程序，遇到这个问题IndexError: list index out of range 搜索了以下答案这个错误出现大约有两种情况： 第1种可能情况 list[index]index超出范围第2种可能情况 list是一个空的 没有一个元素 进行list[0]就会出现该错误...

写scrapy爬虫框架时,运行出现错误:Missing scheme in request url: hspider.py代码如下:注意查看start_urls,里面存放爬虫框架开始时的链接,该链接必须以列表形式存放不能像我一样以字符串形式存放# -*- coding: utf-8 -*-import scrapyfrom scrapy import Selectorfro...