Linux+anaconda3
flying_coder
graph representation learning、Anomaly Detection, Graph Prompt Learning, Graph Foundation Model
展开
-
关于linux下anaconda的pip包及其他包的本地更新方法
由于集群中没有办法联网,因此python包全部需要手动下载,对于anaconda中需要将包文件夹放在pkgs下然后通过python setup.py install进行安装(要在包目录文件夹下),可以自动更新conda list。但是如果该包之前存在与 conda list,此次安装是更新包版本,那么会出现安装之后conda list里显示的包的版本并没有更新。此时解决方法是,在安装最新的包之前现...原创 2018-11-30 16:10:12 · 1712 阅读 · 0 评论 -
pyspark使用anaconda后spark-submit方法(本人对其他文章进行的补充)
在使用pyspark提交任务到集群时,经常会遇到服务器中python库不全或者版本不对的问题。此时可以使用参数–archives,从而使用自己的python包来解决。 实验步骤如下:测试代码使用jieba做分词,但服务器上面没有此库:import jiebajieba.initialize()from pyspark.context import SparkContextfro...原创 2018-12-03 16:46:28 · 2450 阅读 · 1 评论