处理jupyter爬虫时遇到的 out of memory 导致的卡顿无法加载问题

已于 2022-11-22 20:36:44 修改
阅读量1k 收藏 2
点赞数 2
分类专栏： 小董出现过的报错解决方法 文章标签： python
于 2022-11-22 20:34:54 首次发布
原文链接：https://www.cnpython.com/qa/93827
版权

处理jupyter爬虫时遇到的 out of memory 导致的卡顿无法加载问题

问题原因

我的卡顿原因是我在爬虫的时候，print太多次了，导致ipynb文件非常大，已经没有内存可以跑了

如何解决

360浏览器可以打开ipynb，chrome打不开。。。所以用360浏览器打开，然后重新开一个ipynb文件，将代码先保留住！！！！！！看数据的时候一定用df.head(5)!!!。网上的什么config对我都没用
最后是在teminal里输入这个

jupyter notebook --NotebookApp.max_buffer_size=1000000

他就从localhost:8888跳转到localhost:8890
在这里插入图片描述

个人猜测是帮我转到了内存达到要求的地址下吧

Judy今天瘦了吗
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
快速解决jupyter启动卡死的问题
09-17
主要介绍了快速解决jupyter启动卡死的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
【Jupyter使用过程中调用JAVA报错OutofMemory解决方案】
qq_44933752的博客
10-17 161
Jupyter 调用Java报错如下：有时我们使用打包好的jar文件，则需要可以Xms/Xmx修改最大内存。
mxnet 运行出现out of memory
weixin_42783619的博客
04-19 736
mxnet 运行出现out of memory 估计有挺多人在运行mxnet的时候 出现过out of memory 这里记录一种勉强的方式，保证自己本地计算机做小练习的时候可以成功 现象：出现out of memory 原因：显存不够 查看计算机资源，发现gpu显存一直被占用(如果你是这样可以往下看) 分析：jupyter notebook 一直连接着service，然后运行过的变量，在ses...
问题处理：Jupyter notebook 运行时出现 “服务似乎挂掉了，但是会立刻重启的”
热门推荐
lyu_moon的博客
12-11 3万+
一、错误信息 使用jupyter notebook进行自编码网络训练，运行到网络训练的代码段时出现如下错误提示且运行中止 二、查看错误原因 点击启动Jupyter notebook的终端程序，终端上会记录Jupyter notebook的运行信息，可以从中查看错误原因 最后几行显示错误提示： 2019-12-11 13:47:43.930545: I tensorflow/stream_e...
jupyter崩溃OOM，out of memory，jupyter代码写不进去，保存不了。
weixin_42896263的博客
10-18 409
我的路径在/home/yyang/anaconda3/envs/torch2py310/lib/python3.10/site-packages/tornado/ 打开iostream.py,搜索self.max_buffer_size 在BaseIOStream类中，我们直接把这个设置成10737418240,就是10GB。反正电脑够拽，就造就完事了。然后就查了一下，发现是jupyter用的这个tornado去挂载的网页，这个里面有设置最大的缓存大小，我们要去改一下。
解决机器学习中anaconda jupyternotebook对于代码需要的计算量太大，导致内存崩溃（out of memory），无法进入的问题（有Pycharm专业版情况下）
m0_61018181的博客
10-12 2440
jupyter notebook 打不开页面，out of memory,的解决办法
Python 汇总out of memory的原因
大大大尉的博客
08-27 2669
1.python 32位版本限制程序的运行内存在4G以内。 换成64位版本试试。64位版本不支持某些库。 2.pycharm用户可以尝试下面链接的方法 Pycharm出现out of memory 的终极解决方法，网上一搜基本都是这个方法 python 爆内存的一种解释—对象池技术导致的： 为了符合认知顺序，建议按顺序阅读： 1.python 对象池 2.python 中的out of memory是怎么回事，内存不够吗？ 3.解读python内存管理机制 ...
notebooks写python步骤_JupyterNotebook设置Python环境的方法步骤
weixin_39713578的博客
12-11 195
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里云机器学习平台PAI(Platform of Artificial Intelligence)，为传统机器学习和深度学习提供了从数据处理、模型训练、服务部署...
jupyter总是让谷歌浏览器显示内存不足，直接崩了
大鱼的博客
06-05 4315
明明内存还很多，但是就是浏览器会崩掉，查了很多资料，设置了浏览器的问题，还是 没有解决，后来 仔细发现，是只有这一个jupyter文件打开会卡死，会崩，其他的jupyter文件打开正常，然后对比了发现，这个jupyter文件大小不正常。 正常的jupyter文件大小不可能几十兆 这个是因为自己打印了很多内容在页面，那些内容全部追加到了该文件 解决方法就是 重新建jupyter文件，拷贝代码重新运行，不要print内容很大的数据了 主要还在太菜不清楚jupyter加载文件的原理，几十兆的文件也.
解决Python运行文件出现out of memory框的问题
09-19
今天小编就为大家分享一篇解决Python运行文件出现out of memory框的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
关于爬虫时网页中含unicode编码导致正则无法正确匹配的问题
12-21
最近在爬取今日头条时 出现了正则无法正确匹配url问题 不使用’unicode-escape’方法下 现已解决 希望能帮助各位小伙伴 欲匹配的url如图 开始我使用的正则格式为 import re headers = { 'user-agent': 'Mozilla/...
anaconda中修改Jupyter notebook网络爬虫存储路径大全
01-20
由于爬取数据存储需要很大的空间，才发现自己的Jupyter notebook默认存储路径是系统盘，这当然影响我的爬取心情了，更是让强迫症严重的我不能接受此番默认行为，SO !没什么想的，改呗！半夜了，多的不说，直接上方法...
Python爬虫 爬取懒加载页面(以站长素材为例)
12-21
（这个懒加载对用户和服务器都是比较友好的，但是对于我们爬虫来说就比较蛮烦了。往往用xpath或者bs4取解析数据的时候，就不准确。） 我们看看下面这张图片有个src2属性，我们知道img标签没有这个属性，只有src属性...
python爬虫中采集中遇到的问题整理
01-19
今天小编想就爬虫采集数据时遇到的问题进行一个整理，以及在遇到不同的问题时，我们应该想的是什么样的解决思路，具体内容如下分享给大家。 1、需要带着cookie信息访问 比如大多数的社交化软件，基本上都是需要用户...
[python3] 读取一个正在更新的日志文件
言之。
04-24 974
等同于–follow=name --retry，根据文件名进行追踪，并保持重试，即该文件被删除或改名后，如果再次创建相同的文件名，会继续追踪。这两种方法都会持续监听日志文件的变化，并实时读取新增的日志内容。你可以根据实际需求选择其中一种方法。要读取一个正在更新的日志文件（即实时写入的日志文件），你可以使用 Python 的。的技巧来实现实时读取。函数打开文件，并使用。
Day25-Java基础之常用类1
最新发布
m0_46053885的博客
04-27 858
同时我们发现Math类中的方法都是静态的，因此在使用的时候我们可以直接通过类名去调用。对于计算机而言，其实是没有数据类型的概念的，都是0101010101，数据类型是编程语言自己规定的，所以在实际存储的时候，先把具体的数字变成二进制，每32个bit为一组，存储在数组中。比较内存地址值一般情况下是没有意义的，我们希望比较的是对象的属性，如果两个对象的属性相同，我们认为就是同一个对象；如果我们的数据是一个浮点类型的数据，有的时候计算机并不会将这个数据完全转换成一个二进制数据，而是将这个将其转换成一个无限的。
实现自定义注解、实现自定义幂等性注解
qq_44721738的博客
04-23 1074
添加 Spring AOP 依赖。创建自定义注解。创建一个新的 Java 注解类，通过@interface关键字来定义，并可以添加元注解以及属性。@Target(ElementType.METHOD) //表示作用于方法上@Retention(RetentionPolicy.RUNTIME) // 表示这个注解在运行时是可见的，这样 AOP 代理才能在运行时读取到这个注解编写 AOP 拦截（自定义注解）的逻辑代码。@Aspect@Component// 方法执行前的处理。
jupyter 爬虫
08-31
关于使用Jupyter进行爬虫的方法，我可以帮您提供一些指导。首先，您需要安装Python的一些爬虫库，如requests、BeautifulSoup等。您可以使用以下命令安装它们： ``` !pip install requests !pip install ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值