python
xuebinding
喜欢打球
展开
-
pyspark 判断文件夹是否存在,如果存在就删除,避免了因为文件存在,保存失败问题
pyspark 判断文件夹是否存在,如果存在就删除,避免了因为文件存在,保存失败问题产考文档:https://stackoverflow.com/questions/30405728/apache-spark-check-if-file-exists?lq=1fs = self.sc._jvm.org.apache.hadoop.fs.FileSystem.get(spark.sparkC...原创 2020-03-26 23:24:01 · 2930 阅读 · 0 评论 -
numpy ndarray与Python原生list运算效率对比
在这里我们通过一段代码运行来体会到ndarray的好处import randomimport timeimport numpy as npa = []for i in range(100000000): a.append(random.random())# 通过%time魔法方法, 查看当前行的代码运行一次所花费的时间%time sum1=sum(a)b=np.arra...原创 2019-09-02 10:14:43 · 6724 阅读 · 1 评论