2018年10月_jaywangpku

12月 11月 10月 06月 05月

原创复杂网络

文章目录复杂网络复杂网络基本概念平均路径长度聚类系数度与度分布网络拓扑基本模型及其性质规则网络全局耦合网络最近邻耦合网络星型耦合网络随机图（ER随机图）小世界网络模型WS小世界模型NW小世界模型小世界网络的小波分析无标度网络模型（重点）基本性质鲁棒性与脆弱性适应度模型复杂网络复杂网络基本概念平均路径长度两个点iii和jjj之间的距离dijd_{ij}dij定义为连接这两个节点的最短路径上...

2018-10-28 16:31:28 8283

原创 PyBloomfilter API

文章目录PyBloomfilter APIBloomFilter类BloomFilter类的静态方法BloomFilter类的实例属性BloomFilter类的实例方法BloomFilter类的魔法方法BloomFilter类的异常处理类PyBloomfilter API可以使用的平台：Windows UnixBloomFilter类class pybloomfilter.BloomF...

2018-10-26 11:51:57 306

原创 BloomFilter原理和使用

文章目录BloomFilter原理和使用BloomFilter原理适用场景基础性质False-Positive推导Bloom Filter之python包pybloomfilterpybloomfilter代码实例BloomFilter原理和使用BloomFilter原理适用场景在很多场景下，会遇到流式元素的处理，最主要的是集合判断与去重问题。例如我们会判断一个email地址是否在黑名单中...

2018-10-25 21:34:14 2709

原创如何开始使用markdown

如何开始使用markdown找一份教材过一遍，快速理解markdown大概是怎么回事直接用就好了如果遇到不会的，那就根据理解，查谷歌比如：不知道如何调整图片大小了，查到结果是：<img src="C:\Users\Wang Jie\Desktop\2.png" style="zoom:100%" />这样子就好了看手册最合适了简书手册地址是：https...

2018-10-16 00:06:59 124

原创 ssh免密登录配置

ssh免密登录配置环境：ubuntu 18.04机群：三台虚拟机 master slave1 slave2目标：1、master单向可以登录slaves2、master与slaves可以两两之间互相登录master单向登录slaves虚拟机的IP信息如下：spark-master ：192.168.73.134spark-slave1 ：192.168.73.135spack-...

2018-10-15 23:58:49 183

搭建Spark真实分布式运行环境文章目录搭建Spark真实分布式运行环境配置不依赖于HDFS的spark standslone模式准备工作配置基本环境配置免密登录分布式spark standalone 环境部署，不依赖于HDFS配置spark-env.sh文件配置 slaves.template 文件将配置好的spark文件分发至slaves机器启动spark测试添加slave1和slave2到...

2018-10-15 21:54:40 1752 1

原创 Ubuntu18.04上安装sublime text 3

Ubuntu18.04上安装sublime text 3首先，打开谷歌进行搜索，马上便找到了一篇：看起来既简单又完整，真的是很开心，然后就开始安装了执行第一条命令：出问题了，看情况应该是没下载下来，多半是被墙了，于是在浏览器中手动下载了：sublimehq-pub.gpg然后很容易就发现是需要通过后面的命令向系统添加这个文件，于是，继续执行第二条命令，更新源，然后执行第三条命令...

2018-10-15 20:53:11 4312

原创编译Spark源码与子项目GraphX中踩过的坑

编译Spark源码与子项目GraphX中踩过的坑原始目标：在三台虚拟机上真实分布式安装spark平台，并通过修改graphx对应的源码，观察graphx的分布式性能，为进一步做图划分做准备。官网文档：http://spark.apachecn.org/docs/cn/2.2.0/building-spark.html文章目录**编译Spark源码与子项目GraphX中踩过的坑****首先...

2018-10-14 13:44:10 689

原创编译Spark源码与单个子项目GraphX

编译Spark源码与单个子项目GraphX文章目录编译Spark源码与单个子项目GraphXSpark源码获取需要安装的支持环境配置环境编译spark源码编译前配置使用mvn进行编译使用./dev/make-distribution.sh 构建一个可发行的版本使用mvn编译单个子项目graphx系统环境：ubuntu18.04 LTS 初装Spark源码获取实验选用spark-2.2....

2018-10-14 01:53:50 507