图挖掘
sparkexpert
大数据挖掘技术(人工智能)的爱好者
展开
-
矩阵重排序(基于d3.js)
矩阵重排序是大规模矩阵运算的一个重要步骤,用来进行矩阵分割用的。在网上找到了这个好东东,给大家分享一下。(https://github.com/jdfekete)编译环境:d3.js (javascript)欢迎交流学习,邮箱号:[email protected]原创 2015-10-14 10:07:42 · 1093 阅读 · 0 评论 -
矩阵重排序及其应用
欢迎交流学习,邮箱号:[email protected]本次只摘抄了其中的几页。原创 2015-10-14 10:07:47 · 1307 阅读 · 0 评论 -
利用spark进行层次社团发现(louvain算法测试)
社团是复杂网络科学中一种重要的拓扑结构,也是物以类聚,人以群分自然现象在网络中的一种反映。因此对复杂网络进行社团发现是SNA(社会网络分析)中重要的内容之一。现在的社团发现算法层出不穷,有非常多非常优秀有社团发现算法。其中louvain的快速社团发现算法是一种高效的层次社团发现算法。按照其主页上的原理英文就是:“First, it looks for "small" communi原创 2015-12-23 21:49:54 · 9022 阅读 · 8 评论 -
面向大规模社会关系网络数据的层次数据发现
现在随便哪个关系网络的数据规模都非常庞大,如https://snap.stanford.edu/data/上面公开的数据集,动不动都是几万个节点,十几万个边的。然而这种大图数据背后的一些规律挖掘更突显了大数据发现价值的本质。本篇博客在承接上次社团发现的问题,继续在大规模关系网络挖掘上进行分析测试。主要实验数据集采用了三个:(1) https://snap.s原创 2015-12-25 16:09:57 · 1840 阅读 · 0 评论 -
Ubuntu环境下Neo4j图数据库的安装与测试
neo4j(http://neo4j.com/),号称为The World's Leading Graph Database它是一个高性能的,NOSQL图形数据库,它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎,但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。Neo4j也可以被看作是一个高性能的图引擎,该引擎具有成熟原创 2016-01-13 10:21:03 · 2872 阅读 · 0 评论 -
面向社交网络用户的多维关联信息挖掘技术
将团队之前做过的微博用户多维分析的一些PPT进行分享。 (数据使用有些老,但是分析方法相对还是很全的) 微博数据蕴含了丰富的用户事件、内容、关系与态度等信息,在对数据充分理解分析的基础上,采用文本挖掘技术、统计学理论、关联分析与可视化等一系列相关技术,设计并实现了数据统计可视化、用户微博主题检测、情感倾向性分析、文本聚类分类、实体信息抽取、用户影响力分析、用户事件关联挖原创 2016-11-30 10:32:09 · 3607 阅读 · 2 评论 -
CANE-Context-Aware Network Embedding for Relation Modeling论文学习
2. CNN参考网址:https://github.com/Syndrome777/DeepLearningTutorial/blob/master/4_Convoltional_Neural_Networks_LeNet_%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C.mdhttp://www.cnblogs.com/原创 2017-05-14 11:16:35 · 3323 阅读 · 1 评论 -
LargeVis可视化技术学习
大图可视化一直是大数据可视化领域的一个关键技术,当前有各种办法,但是今年出来了一个LargeVis的技术,因此对这个技术进行复现和学习一下。前面有很多基础理论,如基本的降维理论,SNE,t-SNE可视化算法等,这些一概略过,想关注理论的可以参考网址:https://bindog.github.io/blog/2016/06/04/from-sne-to-tsne-to-largevis原创 2017-04-25 11:49:03 · 8196 阅读 · 6 评论 -
deepwalk遇到RuntimeError on windows trying python multiprocessing问题解决办法
本实验基于deepwalk1.0.2,Windows7,64bits在调试代码TriDNR时,编译如下模块时发生错误:代码网址:https://github.com/shiruipan/TriDNR参考论文《Tri-Party Deep Network Representation》程序执行混乱,读图不成功。追踪代码发现是networkutils模块下:于是再查询到原创 2017-05-16 16:30:06 · 1441 阅读 · 1 评论