- 博客(2)
- 资源 (1)
- 收藏
- 关注
原创 CSV读取大文件报错_csv.Error: field larger than field limit
该问题出现在用csv读取文件的时候,出现大字段,导致超过字段默认限制,而无法读取。因此,需要在使用csv读取文件前,先设置下csv字段显示大小。csv.field_size_limit(500 * 1024 * 1024) for i in range(1, 5): # 21 print('开始读取第%d个' % i) csv_reader = csv...
2019-01-15 12:08:20 8332
原创 schedule和CrawlerProcess定时执行多个爬虫
import smtplib,schedule# 通过CrawlerProcess同时运行几个spiderfrom scrapy.crawler import CrawlerProcessfrom spiders.liepin_spider import LiepinSpiderSpider as lie_1from spiders.liepin_spider_2 import Liepi...
2019-01-09 13:10:02 1660
kafka初尝试.7z
2019-09-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人