- 博客(6)
- 收藏
- 关注
原创 Jupyter Notebook上传文件夹
Jupyter Notebook 默认是无法上传文件夹的,所以可以写一个脚本来解压上传的压缩包。(这里只支持 zip格式的压缩包)path = r"" # 这里写文件夹目录filename = r"" # 这里写压缩包名字extract_path = os.path.join(path, filename.rstrip(".zip"))from pathlib import Pathimport zipfileimport osif not os.path.exists(extract
2021-10-08 11:21:54 1347
原创 Pyspark 报错 “系统找不到指定的路径“
这个问题在网上大部分人都是说 Java_Home 配置的有问题,或者调节 Java_Home 和 Spark_Home 顺序来表示执行优先级,但是我试了各种方法之后都没有成功。尝试阅读 Pyspark.cmd 源码仍然无法解决这个问题。然后我就准备把 Spark 整个卸载重装试试,卸载完了清空了环境变量,然后 cmd 输入 pyspark.cmd 没想到竟然能执行!整个人都懵了,我检查了一遍环境变量,没有任何问题,怎么可能还能跑呢……我就试着用 everything 搜了一下 spark-shell.cm
2021-08-01 00:47:03 4026 3
原创 Windows上Spark使用Ipython 运行
今天用了 Python 来运行Spark,发现它使用的是默认的 Python 交互端,emmm,我已经用了 N 年的 Ipython 了,突然给我换默认的,没有代码提示根本受不了,所以去网站上看看有没有
2021-07-26 17:56:04 195
原创 Hadoop本地运行
众所周知,Hadoop有三种运行模式:本地模式,伪分布模式,完全分布模式。挺多教程一上来就给伪分布模式的搭建过程,配置了许多 xml 配置文件,然后自己开始做实验的时候发现各种 FileNotE
2021-06-03 11:44:40 608
原创 ncdc数据下载
这几天开始学习hadoop,一开始就要求ncdc的数据集,作为计算机从业人员深知数据集的重要性,但是网上没有太多相关的直接代码,大部分要么是shell脚本(manjaro前几天刚抽风被我写了)
2021-05-31 16:14:04 950 3
原创 Django "OverflowError: Python int too large to convert to C long" 错误
PS:如果不想看流程的,可以直接跳到文章末尾看解决方法。今天学习Django的时候遇到这个问题,谷歌,百度了一下,连StackOverflow都没有详细的问题描述和解法,都是和Python解释器相关的问题或者是numpy等等。就是找不到和Django相关的东西,而且翻看相关错误信息也都是解释器的包的问题,各种系统文件什么的,唯一一处自己写的文件的问题就...
2019-08-21 20:22:01 6957
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人