- 博客(6)
- 收藏
- 关注
RSS订阅原创 Jupyter Notebook上传文件夹
Jupyter Notebook 默认是无法上传文件夹的，所以可以写一个脚本来解压上传的压缩包。(这里只支持 zip格式的压缩包)path = r"" # 这里写文件夹目录filename = r"" # 这里写压缩包名字extract_path = os.path.join(path, filename.rstrip(".zip"))from pathlib import Pathimport zipfileimport osif not os.path.exists(extract
2021-10-08 11:21:54
1206
原创 Pyspark 报错 “系统找不到指定的路径“
这个问题在网上大部分人都是说 Java_Home 配置的有问题，或者调节 Java_Home 和 Spark_Home 顺序来表示执行优先级，但是我试了各种方法之后都没有成功。尝试阅读 Pyspark.cmd 源码仍然无法解决这个问题。然后我就准备把 Spark 整个卸载重装试试，卸载完了清空了环境变量，然后 cmd 输入 pyspark.cmd 没想到竟然能执行！整个人都懵了，我检查了一遍环境变量，没有任何问题，怎么可能还能跑呢……我就试着用 everything 搜了一下 spark-shell.cm
2021-08-01 00:47:03
3597
3
原创 Windows上Spark使用Ipython 运行
今天用了 Python 来运行Spark，发现它使用的是默认的 Python 交互端，emmm，我已经用了 N 年的 Ipython 了，突然给我换默认的，没有代码提示根本受不了，所以去网站上看看有没有
2021-07-26 17:56:04
164
原创 Hadoop本地运行
众所周知，Hadoop有三种运行模式：本地模式，伪分布模式，完全分布模式。挺多教程一上来就给伪分布模式的搭建过程，配置了许多 xml 配置文件，然后自己开始做实验的时候发现各种 FileNotE
2021-06-03 11:44:40
555
原创 ncdc数据下载
这几天开始学习hadoop，一开始就要求ncdc的数据集，作为计算机从业人员深知数据集的重要性，但是网上没有太多相关的直接代码，大部分要么是shell脚本(manjaro前几天刚抽风被我写了)
2021-05-31 16:14:04
891
3
原创 Django "OverflowError: Python int too large to convert to C long" 错误
PS：如果不想看流程的，可以直接跳到文章末尾看解决方法。今天学习Django的时候遇到这个问题，谷歌，百度了一下，连StackOverflow都没有详细的问题描述和解法，都是和Python解释器相关的问题或者是numpy等等。就是找不到和Django相关的东西，而且翻看相关错误信息也都是解释器的包的问题，各种系统文件什么的，唯一一处自己写的文件的问题就...
2019-08-21 20:22:01
6807
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人