Pycharm打开(打印)大数据文件显示不全的解决方法

转:https://blog.csdn.net/qq_36303970/article/details/87544790

 

前言

昨晚写了个小爬虫,简单分析下发现可以修改请求的url,直接获取所有目标的数据。想先打印在控制台看看,发现打印的数据不全,一开始还以为被反爬虫了,获取的数据本身不全,后来将数据直接保存JSON文件(3兆多大小),用Ubuntu文档编辑器打不开(直接卡死),用vim打开发现数据完整(说明爬虫获取的数据本身没毛病),再在Pycharm用Python打开发现提示文件过大,打印在控制台也还是显示不全,在网上找了好久才找到了解决方法?。

正文

原来Pycharm IDEA对能关联的文件大小做了限制,主要是为了保护内存,默认值为2500kb,这对爬虫用户来说相当不友好,但时安装软件的时候也不提醒下?

在Pycharm菜单找到Edit Custom Properties…

追加以下字段

idea.max.intellisense.filesize = 20000
idea.max.content.load.filesize = 20000
idea.cycle.buffer.size = 20000
1
2
3
其中20000代表限制大小为20000kb(暂时应该够用?),可自行修改


重启Pycharm

搞定

总结

解决方法很简单,但是找到问题的来源很辛苦,一开始我以为是爬虫代码的问题,就反复修改请求头,换代理,掉了坑里好久,后来发现不是数据本身问题才慢慢恍然大悟,最终Google到了方法。所以要对自己的爬虫自信点,有问题全是IDEA的锅?
————————————————
版权声明:本文为CSDN博主「Laen丶」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_36303970/article/details/87544790

发布了176 篇原创文章 · 获赞 14 · 访问量 74万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览