简单模拟社交网络分析

之前的文章中介绍了社交网络常用的一些分析指标，这里Tatsumi将自己编写Scrapy爬虫获取简书用户的关注与被关注行为信息，模拟一个真实的小社交网络群体。

打开简书的网站，随便找到一个用户然后点击关注或粉丝，便可获取该用户对应的粉丝和它关注的用户ID。

由于简书里这种用户ID信息列表是使用Ajax请求的方式加载的，这里Tatsumi通过Post请求的方式向存放该Json数据的服务器发送请求来获取用户ID信息。（当然这里也可以在Scrapy中使用selenium来模拟滚动下拉条的方式获取，但这种方式Tatsumi感觉获取效率较低，故没有采用，如果对爬虫感兴趣的朋友可以看看Tatsumi的爬虫文章，后面也会分享本次的爬虫代码）。

因为考虑到简书全网用户较多，用执行社交网络算法和可视化的话对于单机用户Tatsumi来说是相当相当的困难，所以这里只是随机抽选了几位与机器学习和大数据相关的简书用户来进行数据爬取，最终我们获取到的数据格式如下

其中usera是被关注的用户id，userb是用户的粉丝，其他的信息还有对于usera用户的关注人数，被关注人数，文章数目，已发表总字数，获赞数。

拿到数据后便可使用Python中分析社交网络的库networkx进行社交网络分析，首先是对整个网络的读入（userpairs使用对usera，userb，weight组成的元组列表，其中weight这里都为1）

#社交图谱建立与计算
G=nx.DiGraph()
G.add_edges_from(userpairs)

有了网络后我们可以执行相关的关于整个网络的描述统计

verage_shortest_path_length = nx.average_shortest_path_length(G) #图G所有节点间平均最短路径长度（结果为0.00040136391084636026）
path=nx.all_pairs_shortest_path(G)                               #找出所有节点的最短路径

以及研究整个网络中每个节点的各种中心性度量指标

degree = nx.degree(G)      #程度中心性
in_degree_ = nx.in_degree_centrality(G) #入度
closeness_centrality = nx.closeness_centrality(G) #紧密中心性
betweenness_centrality = nx.betweenness_centrality(G) #介数中心性
eigenvector_centrality = nx.eigenvector_centrality(G)  #高特征向量中心性
pagerank = nx.pagerank(G)  #pagerank算法
clustering = nx.clustering(G) #群聚系数

由于本次的网络规模较小，很多中心性指标都为0，这里就只展示一小部分。由下图可见绝大部分用户的度中心性都为0或1（红色）

可以看到在整个网络中Albert陈凯、大数据之心、Major术业和流川枫AI是度中心性和紧密中心性最大的用户，因此大概可以猜想出整个小网络能划分成4个小群体。

#社区发现算法 best_partition
partition = community.best_partition(G)          #方法1
k_clique = list(nx.k_clique_communities(G,3))    #方法2

从社群发现的结果来看，果然整个网络主要是由Albert陈凯、大数据之心、Major术业和流川枫AI 4位用户为中心而扩散，我们便可得知在此小网络中该4位用户起着居足轻重的作用。在实际场景中，我们可以针对整个网络中的关键用户进行营销和推广，提高营销准确率，也可以利用社交网络中用户的节点信息值，如pagerank、介数中心性、紧密中心性等指标作为其他机器学习算法的输入，提升模型的效果等等。

项目心得：

社交网络分析算法个人感觉还机器学习的行业中还是比较冷门的一块，Tatsumi自己也是非常想的尝试一把。这里发现几点问题就是，往往来说整个社交网络无论是微博、QQ、网易云还是其他的社交媒体，数据量往往都是非常巨大的，而要分析如此庞大的数据对于个人来说是相当相当困难，很多算法都是基于图整体信息数据进行迭代运算。所以有机会的话Tatsumi也希望能用Spark的GraphX模块来尝试尝试，另外是社交网络的可视化，由于Python中的Networkx库中画图比较的粗糙，这里Tatsumi使用的是Gephi来进行可视化（这个软件也内置封装了很多社交网络分析的常用的方法，个人感觉比较像是Spss型的软件，非常容易上手，但是数据量处理不能太大）果然数据量处理还都是瓶颈啊 ，难怪大数据会越来越火了。

Github数据代码 链接 

• 使用scrapy对简书全站的用户关注信息进行递归爬取
• 对简书用户关注与被关注行为建立社交网络分析模型

转载于:https://my.oschina.net/wtatsumi/blog/1924743