spark
flying_coder
graph representation learning、Anomaly Detection, Graph Prompt Learning, Graph Foundation Model
展开
-
关于python提交spark以及在spark环境中使用本地包的方法--针对于集群无法在线下包以及python版本和spark绑定的问题解决
首先,python提交spark的命令 比较复杂的版本如下:spark-submit --master yarn-client --driver-memory 4g --executor-cores 4 --executor-memory 8g --conf spark.dynamicAllocation.minExecutors=10 --queue queue_cem /home/tes...原创 2018-12-04 16:37:22 · 962 阅读 · 0 评论 -
python2.6.6不支持pip>=10.0的版本
最合适的方法是安装pip-9.0.x原创 2018-12-05 16:30:37 · 433 阅读 · 0 评论 -
pyspark使用anaconda后spark-submit方法(本人对其他文章进行的补充)
在使用pyspark提交任务到集群时,经常会遇到服务器中python库不全或者版本不对的问题。此时可以使用参数–archives,从而使用自己的python包来解决。 实验步骤如下:测试代码使用jieba做分词,但服务器上面没有此库:import jiebajieba.initialize()from pyspark.context import SparkContextfro...原创 2018-12-03 16:46:28 · 2453 阅读 · 1 评论