Pycharm打开（打印）大数据文件显示不全的解决方法

最新推荐文章于 2024-05-23 16:22:02 发布

Laen丶

最新推荐文章于 2024-05-23 16:22:02 发布

阅读量1.7w

点赞数 29

本文链接：https://blog.csdn.net/qq_36303970/article/details/87544790

版权

前言

昨晚写了个小爬虫，简单分析下发现可以修改请求的url，直接获取所有目标的数据。想先打印在控制台看看，发现打印的数据不全，一开始还以为被反爬虫了，获取的数据本身不全，后来将数据直接保存JSON文件（3兆多大小），用Ubuntu文档编辑器打不开（直接卡死），用vim打开发现数据完整（说明爬虫获取的数据本身没毛病），再在Pycharm用Python打开发现提示文件过大，打印在控制台也还是显示不全，在网上找了好久才找到了解决方法?。
在这里插入图片描述

正文

原来Pycharm IDEA对能关联的文件大小做了限制，主要是为了保护内存，默认值为2500kb，这对爬虫用户来说相当不友好，但时安装软件的时候也不提醒下?

在Pycharm菜单找到Edit Custom Properties…

在这里插入图片描述

追加以下字段

idea.max.intellisense.filesize = 20000
idea.max.content.load.filesize = 20000
idea.cycle.buffer.size = 20000

其中20000代表限制大小为20000kb（暂时应该够用?），可自行修改
在这里插入图片描述

重启Pycharm

在这里插入图片描述

搞定

在这里插入图片描述

总结

解决方法很简单，但是找到问题的来源很辛苦，一开始我以为是爬虫代码的问题，就反复修改请求头，换代理，掉了坑里好久，后来发现不是数据本身问题才慢慢恍然大悟，最终Google到了方法。所以要对自己的爬虫自信点，有问题全是IDEA的锅?

Laen丶

关注

29
点赞
踩
53

收藏

觉得还不错? 一键收藏
9
评论
Pycharm打开（打印）大数据文件显示不全的解决方法

前言昨晚写了个小爬虫，简单分析下发现可以修改请求的url，直接获取所有目标的数据。想先打印在控制台看看，发现打印的数据不全，一开始还以为被反爬虫了，获取的数据本身不全，后来将数据直接保存JSON文件（3兆多大小），用Ubuntu文档编辑器打不开（直接卡死），用vim打开发现数据完整（说明爬虫获取的数据本身没毛病），再在Pycharm用Pthon打开发现提示文件过大，打印在控制台也还是显示不全，在...
复制链接

扫一扫