处理jupyter爬虫时遇到的 out of memory 导致的卡顿无法加载问题

Judy今天瘦了吗

已于 2022-11-22 20:36:44 修改

阅读量1.1k

点赞数 2

分类专栏：小董出现过的报错解决方法文章标签： python

于 2022-11-22 20:34:54 首次发布

原文链接：https://www.cnpython.com/qa/93827

版权

小董出现过的报错解决方法专栏收录该内容

2 篇文章 0 订阅

订阅专栏

处理jupyter爬虫时遇到的 out of memory 导致的卡顿无法加载问题

问题原因
- 如何解决

问题原因

我的卡顿原因是我在爬虫的时候，print太多次了，导致ipynb文件非常大，已经没有内存可以跑了

如何解决

360浏览器可以打开ipynb，chrome打不开。。。所以用360浏览器打开，然后重新开一个ipynb文件，将代码先保留住！！！！！！看数据的时候一定用df.head(5)!!!。网上的什么config对我都没用
最后是在teminal里输入这个

jupyter notebook --NotebookApp.max_buffer_size=1000000

他就从localhost:8888跳转到localhost:8890
在这里插入图片描述

个人猜测是帮我转到了内存达到要求的地址下吧

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Judy今天瘦了吗

关注关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

【Python】Jupyter Notebook无法运行代码，且提示error和自动保存失败时如何操作？

weixin_48927364的博客

02-24

4万+

文章目录一、报错情形二、深层原因三、解决方案一、报错情形 1、运行代码时跳转下一行，无法执行代码。 2、在修改文件名是提示失败，出现“error”字样。二、深层原因 pyzmq版本太高，与Jupyter Notebook不相兼容。三、解决方案打开 Anaconda Prompt，输入以下代码，删除原有的pyzmq pip uninstall pyzmq 输入以下代码，安装低版本pyzmq pip install pyzmq==19.0.2 如果装完后会跳出红字***error:p

Python 爬虫时遇到问题“IndexError: list index out of range”

u011861852的博客

09-13

6675

Python 爬虫时遇到问题“IndexError: list index out of range” 不知道哪里错了，感觉已经把列表改了呀，还是不对，求指导代码块代码块语法遵循标准markdown代码，例如： #!/usr/bin/env python # Author:Bad Boy # Date time:2018/9/13 ''' 下载笔趣网小说：莽荒纪 paramete...

参与评论您还未登录，请先登录后发表或查看评论

解决机器学习中anaconda jupyternotebook对于代码需要的计算量太大，导致内存崩溃（out of memory），无法进入的问题（有Pycharm专业版情况下）

m0_61018181的博客

10-12

2865

jupyter notebook 打不开页面，out of memory,的解决办法

Jupyter 错误代码: Out of Memory

最新发布

m0_53873874的博客

10-17

297

运行的内存不够，页面打不开，代码没保存，运行过的代码在哪里找到？1. 打开anaconda prompt。教训就是写好代码，先备份！2. 输入ipython。2. 输入%history。

jupyter崩溃OOM，out of memory，jupyter代码写不进去，保存不了。

weixin_42896263的博客

10-18

816

我的路径在/home/yyang/anaconda3/envs/torch2py310/lib/python3.10/site-packages/tornado/ 打开iostream.py,搜索self.max_buffer_size 在BaseIOStream类中，我们直接把这个设置成10737418240,就是10GB。反正电脑够拽，就造就完事了。然后就查了一下，发现是jupyter用的这个tornado去挂载的网页，这个里面有设置最大的缓存大小，我们要去改一下。

解决jupyter notebook由于内存溢出打不开的问题

qq_43855855的博客

10-10

7833

解决jupyter notebook由于内存溢出打不开的问题这是一个虎头蛇尾的故事：（朋友们请忽略前面的废话，只看黑体加粗的几个字就OK）憋了一周的代码，因为一直不收敛，又忘记手动停止而去做其他事情（刷B站（小声））了，于是它自己在那边算到内存溢出，带我发觉之时，为时已晚。发现jupyter notebook可以打开，但有自己代码的.ipynb文件打不开了。(Φ皿Φ)简直吓得要si，这几天白弄了。。。觉得只要能把代码找回来，我一定不再拖拉，好好把代码完成好！哭哭然后就百度了一下，没几个链接有解决这个

解决Python运行文件出现out of memory框的问题

01-21

爬虫过程中，发现pycharm变得非常卡，然后出现了这个框： ...以上这篇解决Python运行文件出现out of memory框的问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持软件开发网。

Python网络爬虫入门笔记1

m0_72232012的博客

07-10

1331

这是鄙人在b站看课总结，主要是关于爬虫入门，笔记1是关于requests

jupyter 爬虫并且导入文本

weixin_48749151的博客

07-17

2407

一.导入request库和BeautifulSoup库中的bs4库二.获取要爬取网页的地址 headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36 Edg/91.0.864.48"} headers是浏览器的参数是为了伪装成浏览器的参数变量三.查看是否获取浏览器的数.

基于Python爬虫与Jupyter的链家二手房数据分析源码

10-09

该项目是一个基于Python爬虫和Jupyter Notebook的链家二手房数据分析系统源码，总计包含20个文件，...系统旨在通过爬虫技术收集二手房信息，并利用Jupyter Notebook进行数据处理和可视化分析，最终生成详尽的数据报告。

当使用jupyter-notebook读取sql server上超过百万的数据时报错MemoryError

大数据-攻城狮

04-14

2519

在做数据分析时，才读取了数据中几百万的数据就给我报错，提示内存错误。但想了想也不对，虽然我的电脑算不上高配，但也有16个G的内存，几百万的数据顶多不到3个G，怎么会提示内存错误呢？仔细查看原因，发现我使用的是python3虚拟环境开启的jupyter-notebook。猜测可能是这个原因，直接换成anaconda，并在anaconda中安装读取sql server的包pymssql，果真就成功了。...

notebook python释放内存_pandas read文件时出现了MemeryError，在不shutdown当前jupyter文件的情况下如何回收内存？...

weixin_39823459的博客

12-09

568

出现的情况user_log = pd.read_csv(’一个1.8G的文件‘)# 已证明8G内存的电脑不行，在jupyter种操作的时候结果如下：---------------------------------------------------------------------------MemoryError Traceback...

Jupiter notebook显示memory error的最简单解决方案

codeuniverse的博客

11-15

1287

restart kernel即可

python jupyter notebook debug_Python Jupyter Notebook 中的错误异常与代码调试

weixin_39580749的博客

12-05

230

原标题：Python Jupyter Notebook 中的错误异常与代码调试首先我们定义两个函数，以便够造成一些错误和异常，方便来进行对于 Jupyter Notebook 的错误异常相关知识的学习：首先，通过调用函数，我们来引发一个“分母为零”的异常：在 notebooke 中执行 %xmode Plain 可以设置为当异常发生时只展示简单的异常信息。接着，我们引发相同的错误来对比输出的...

如何解决Java内存溢出(out of memory)?

weixin_43305207的博客

05-15

2196

内存溢出（out of memory）是内存不够吗？内存溢出（out of memory）通俗理解就是内存不够，通常在运行大型软件或游戏时，软件或游戏所需要的内存远远超出了你主机内安装的内存所承受大小，就叫内存溢出。此时软件或游戏就运行不了，系统会提示内存溢出，有时候会自动关闭软件，重启电脑或者软件后释放掉一部分内存又可以正常运行该软件或游戏一段时间。内存溢出已经是软件开发历史上存在...

小内存服务器python pd.read_csv()下载文件out of memory的问题

蔡金航的博客

10-28

321

最近在linux云服务器，2G RAM 上跑一些Python程序，需要下载csv.gz文件，但文件可能又几百M，很容易导致out of memory错误。最终采用requests，分块下载,存入文件的防止，解决了问题。需要在get函数中，将stream设置为True。 f = open(f"filename.gz", "wb") # chunk是指定每次写入的大小，每次只写了1024byte for chunk in r.iter_content(chunk_size=1024)

Python读取本地较大文件（出现Memory Error）的解决办法以及总结

热门推荐

小白的编码屋

01-15

1万+

因为要读取从大众点评爬下来的一些数据，所以在文件有点大的情况下就造成jupyter notebook在读取的时候直接卡死，出现memory error的情况。那么如何解决这样的问题呢？掌柜经过一番探索，终于找到解决的办法，先写上解决的代码： with open('你要读取的文件', 'r',encoding='utf-8') as f: for line in f: re...

Python 汇总out of memory的原因

大大大尉的博客

08-27

3005

1.python 32位版本限制程序的运行内存在4G以内。换成64位版本试试。64位版本不支持某些库。 2.pycharm用户可以尝试下面链接的方法 Pycharm出现out of memory 的终极解决方法，网上一搜基本都是这个方法 python 爆内存的一种解释—对象池技术导致的：为了符合认知顺序，建议按顺序阅读： 1.python 对象池 2.python 中的out of memory是怎么回事，内存不够吗？ 3.解读python内存管理机制 ...

jupyter 爬虫

08-31

您好！关于使用Jupyter进行爬虫的方法，我可以帮您提供一些指导。首先，您需要安装Python的一些爬虫库，如requests、BeautifulSoup等。您可以使用以下命令安装它们： ``` !pip install requests !pip install beautifulsoup4 ``` 安装完成后，您可以在Jupyter Notebook中创建一个新的Python代码单元格，并导入所需的库： ```python import requests from bs4 import BeautifulSoup ``` 接下来，您可以使用`requests`库发送HTTP请求并获取网页内容。例如，使用以下代码获取一个网页的内容： ```python url = 'https://www.example.com' response = requests.get(url) content = response.text ``` 获取到网页内容后，您可以使用`BeautifulSoup`库解析HTML内容，并提取所需的数据。例如，使用以下代码解析网页内容并获取所有链接： ```python soup = BeautifulSoup(content, 'html.parser') links = soup.find_all('a') for link in links: print(link.get('href')) ``` 这只是一个简单的示例，您可以根据具体的需求自行扩展和修改代码。希望对您有所帮助！如果您有任何其他问题，请随时提问。