- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 CSV读取大文件报错_csv.Error: field larger than field limit
该问题出现在用csv读取文件的时候，出现大字段，导致超过字段默认限制，而无法读取。因此，需要在使用csv读取文件前，先设置下csv字段显示大小。csv.field_size_limit(500 * 1024 * 1024) for i in range(1, 5): # 21 print('开始读取第%d个' % i) csv_reader = csv...
2019-01-15 12:08:20
8326
原创 schedule和CrawlerProcess定时执行多个爬虫
import smtplib,schedule# 通过CrawlerProcess同时运行几个spiderfrom scrapy.crawler import CrawlerProcessfrom spiders.liepin_spider import LiepinSpiderSpider as lie_1from spiders.liepin_spider_2 import Liepi...
2019-01-09 13:10:02
1657
kafka初尝试.7z
适用于windows下python环境，kafka-python操作的kafka环境。
kafka和zookeeper已经在里面了。 修改下启动的bat路径即可，我在里面写的是绝对路径，打击可以修改下
实例demo也已经存在了。更多功能，大家可以继续扩展。
2019-09-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人