- 博客(3)
- 收藏
- 关注
原创 探讨scrapy当中的pipeline何时获取item。
问题来自于在运行spider过程中,pipeline当中写入的数据库存储过程始终得不到item传递的数据,经调试,发现了pipeline被调用的机制。 写一段代码来测试: spider.py: import scrapy from items import Work1Item #自定义的item,用于结构化数据 class Work1Spider(scrapy.Spider):
2017-09-21 14:41:23 3294
原创 python当中的yield函数具体如何使用
问题起源于初次接触scrapy时,好奇于spider子类当中的parse方法,在parse()当中为了Request next_url,而要使用yield函数。 于是乎撸了一段代码试验一下yield:import scrapy from items import Work1Item class Work1Spider(scrapy.Spider): name = 'wo
2017-09-20 21:05:56 3364
原创 小白的第一次flask编程
设计目的: 搭建一个自己的博客,在上面记录下自己的学习历程,心得体会以及各路大神的经验分享。 PS:有了CSDN我为啥还需要自己搭建呢,当然是为了好玩啊,练练手还是不错的。 准备工作: 1、virtualenv(虚拟环境)的安装和使用 在cmd中找到python编译器的路径,键入:pip install virtualenv 等待安装完成后,新建我们准备
2017-09-19 10:23:26 648
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人