1.复杂网络与图
复杂网络与图是同一种事物,由节点和连边构成。图是数学领域的研究内容,“图论”的算法是普适性的,侧重于理论。复杂网络侧重于工程,是将“图论”的理论带入到现实的生活生产中,结合图算法理论、应用场景以及科学技术等方面能力,帮助观察和理解真实的客观世界。
2. 复杂性
哲学思想还原论认为万事万物都有更基本的元素构成,通过研究更基本的元素可以理解复杂的整体,这个思想已经取得了许多成果,比较突出的有基因工程等。
不过,有时从简单的元素入手却不能理解复杂的整体,比如一只蚂蚁与蚁群的行为,说明现实世界系统具有“复杂性”,而复杂性背后是网络关联。
具有自组织、自相似、吸引子、小世界、无标度中部分或全部性质的网络称为复杂网络。(钱学森)
复杂网络主要有以下几个特点:
第1,结构复杂,不用解释太多,自然界就是复杂的,抽象出来的网络也是复杂的。
第2,网络进化,世界在发展,代表它的网络也是在变化,网络中会不断地产生新的节点,也会产生新的关系,同样,也会在消失着一些节点和关系。今天我们是朋友,明天你们和他们也会成为朋友。
第3,连接多样,连接边不是只代表一种类别的关系,只要能代表事物和事物之间关系的都可以描述成边,只要是属于我们所要研究范畴的。你和她是朋友关系,也可能还存在着同事关系。
第4,动力学复杂性,它代表一种动态的特性,事物之间的影响是可以传播的,一个事物发生了改变,可能会影响与它有关联的其它事物的改变,并将这种改变传播出去,把这种传播变成可计算化,正是动力学所要研究的方向。
第5,多重复杂性结合,正是多种事物相互关联和互相影响,体现出它的变化复杂性和未知性,未来发展趋势,并非一个简单的线性公式所能解释的。
第6,节点的多样性,和连接多样性一样,网络中的节点可以代表任何事物,只要是属于我们所要研究的范畴。
3. 实现技术
数据结构:矩阵结构与关系型数据库结构,矩阵结构效率更高(NoSQL数据库),关系型结构信息更完善。Neo4j图查询数据库,适合中小规模的图。
大数据:分布式存储与分布式处理。为实现分布式需切分网络,常用切分有三种:
按点切,切度值大的节点;
按边切,切弱连接;
随机切,结构不明显的网络可用,不太实用。
可行方案:基于Hadoop+Spark技术,把算法转换为分布式计算,在集群上运行。
大规模图查询展现:InfiniteGraph、OrientDB、InfoGrid和HypergraphDB等
4. 应用
社团检测:潜在客户挖掘、关联群体风险分析等;
网络中心性分析:网页排名(PageRank),供应链核心企业识别,信息传播枢纽节点识别等;
网络传播预测:流行病传播,金融风险传播,舆论传播;
网络关系渗透:节点之间的关系(三度影响);
关联交易分析及投融资黑洞:虚假交易,担保圈分析等。