![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式系统
fkuner
这个作者很懒,什么都没留下…
展开
-
解析GraphLab中的CMakeList.txt
因为最近在看GraphLab的源码和cmake,所以对GraphLab中的CMakeList.txt进行分析,学习一下# Libraries linked via full path no longer produce linker search paths.cmake_policy(SET CMP0003 NEW)# Preprocessor definition values are n...原创 2020-03-27 14:50:15 · 230 阅读 · 0 评论 -
Graphlab实现分析:图的存储二
计数排序、CSR和CSC等概念见上一篇博客“Graphlab实现分析:图的存储一”,此篇博客是接着上一篇博客,介绍一下graphlab中图的动态存储。 1 存储结构 Graphlab实现对图的动态存储也是基于csr和csc格式,不过在csr和csc的底层数据结构设计上做了一些调整,将数组替换为分块链表。如果实现对图的动态存储,那么需要把底层的数据结构从数组换成链表,但需要对原先在静态图存储中所用的...转载 2020-03-09 18:36:23 · 727 阅读 · 0 评论 -
执行命令hadoop classname出现错误:找不到或无法加载主类
解决方式:export HADOOP_CLASSPATH=放置class文件的目录原创 2020-03-03 22:15:17 · 1038 阅读 · 1 评论 -
配置pyspark在Hadoop YARN上运行出现ERROR SparkContext: Error initializing SparkContext
最近在配置Hadoop+Spark时,输入命令HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop pyspark --master yarn --deploy-mode clientPython 2.7.15+ (default, Oct 7 2019, 17:39:04) [GCC 7.4.0] on linux2Type "help", "cop...原创 2019-11-19 12:45:16 · 2219 阅读 · 8 评论 -
解析ps-lite源码中的local.sh启动脚本
local.sh的内容如下:#!/bin/bash# set -xif [ $# -lt 3 ]; then echo "usage: $0 num_servers num_workers bin [args..]" exit -1;fiexport DMLC_NUM_SERVER=$1shiftexport DMLC_NUM_WORKER=$1shiftbin...原创 2020-03-19 13:17:14 · 351 阅读 · 0 评论 -
MPI编程入门
推荐一个很不错的入门教程https://mpitutorial.com/tutorials/官方MPI接口描述原创 2020-04-02 22:27:30 · 277 阅读 · 0 评论 -
配置GraphLab遇到的问题与解决方案
测试openmpi遇到的问题在使用mpiexec -hostfile ~/machines hostnam来测试配置是否正确时,出现fkuner@master:/usr/local$ mpiexec -hostfile ~/machines hostname--------------------------------------------------------------------...原创 2019-12-16 03:13:19 · 889 阅读 · 0 评论 -
分布式相关论文
作者:廖君链接:https://www.zhihu.com/question/19868791/answer/88873783来源:知乎分布式系统(Distributed ...转载 2019-12-11 18:33:38 · 503 阅读 · 0 评论