爬取ICCV2019信息 并用gephi可视化作者关系网与热词联系

最新推荐文章于 2022-07-24 18:23:00 发布
最新推荐文章于 2022-07-24 18:23:00 发布
阅读量803 收藏 10
点赞数 2
分类专栏： 数据可视化 大学课程系列 文章标签： 数据分析 数据可视化 python http
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42918142/article/details/106903928
版权

爬取ICCV2019信息 并使用Gephi可视化作者关系网与热词联系

1.爬虫数据爬取

目标网站ICCV2019
网页的样式如下：

爬虫还是使用万能的request库写的
最后保存在HTML文件内

import  requests
def main():
    #   爬取网页
    baseurl = "http://openaccess.thecvf.com/ICCV2019.py"
    html = requests.get(baseurl)
    print(html.encoding)
    f = open("ICCV.Html", "w",encoding="ISO-8859-1")
    for i in html.text:
        #将数据写入文件
        f.write(i)
#关闭文件
    f.close()
if __name__ =='__main__':
    main()

 
获取的HTML内部内容，到这一步爬取就完成了，下一步需要对HTML中的内容进行提取
在这里插入图片描述

2. 分词保存

可以在上面的HTML中发现，如果想要提取作者名字与论文标题，最方便的还是直接从引用信息进行提取。这里分别给出生成EXCEL文件和TXT文件的两种方式。
其中，TXT文件我用在了词云的生成。
EXCEL文件，我用来生成Gephi了（可能绕远了）。
这里主要使用了bs库

对于作者的信息来说

  • 首先用使用“ and ”（空格+and+空格）分割作者
  • 对于每个作者，将“， ”（逗号+空格）替换为“ ”（空格）
  • 对于每个作者，将“ ”用“_”代替，为了连接一个名字，要不然词云全部都是姓氏

对作者的提取代码如下（EXCEL）：

from bs4 import BeautifulSoup
file = open("./ICCV.Html","rb")
html = file.read()
bs  = BeautifulSoup(html,"html.parser")
import xlwt
# 创建一个workbook 设置编码
workbook = xlwt.Workbook(encoding = 'utf-8')
# 创建一个worksheet
author_excel = workbook.add_sheet('My Worksheet')
numx=-1
for item in bs.find_all('div', class_="bibref"):#从引用提取信息
    #print(item.text)
    numx+=1
    item = str(item.text)
    i = item.find('author')
    i2 = item.find('title')
    i3 = item.find('booktitle')
    author = item[i+10:i2-4]#作者信息划片
    author = author.split(" and ")    #首先使用and分离
    for ii in range(len(author)):
        author[ii] = author[ii].replace(", "," ")#将逗号用空格分离
        author[ii] = author[ii].replace(" ","_")#将空格用_连接
    for i in range(len(author)):
            author_excel.write(numx,i,author[i])
    print(author)
workbook.save("author_info.xls")

提取效果（使用引用提取的名字正好是中国人的姓+名形式）：
在这里插入图片描述
对作者的提取代码如下（TXT）：

from bs4 import BeautifulSoup
fil = open("./ICCV.Html","rb")
html = fil.read()
bs  = BeautifulSoup(html,"html.parser")

txt = 'author_full_name.txt'
numx=-1
with open(txt,'w') as file:
    for item in bs.find_all('div', class_="bibref"):
        numx+=1
        item = str(item.text)
        i = item.find('author')
        i2 = item.find('title')
        i3 = item.find('booktitle')
        author = item[i+10:i2-4]#作者信息
        author = author.split(" and ")    #首先使用and分离
        for ii in range(len(author)):
            author[ii] = author[ii].replace(", ","_")#将逗号用空格分离
            author[ii] = author[ii].replace(" ","_")#将逗号用空格分离
        for i in range(len(author)):
            print(author[i])
            file.write(author[i]+',')

提取效果：
在这里插入图片描述

 
 

对标题的信息来说

  • 使用“ ”（空格）分割标题
  • 将每个标题词汇中的“，”（逗号）与“：”（冒号）替换为“”（空）

对于标题的提取代码如下（EXCEL）：

from bs4 import BeautifulSoup
file = open("./ICCV.Html","rb")
html = file.read()
bs  = BeautifulSoup(html,"html.parser")
import xlwt
# 创建一个workbook 设置编码
workbook = xlwt.Workbook(encoding = 'utf-8')
# 创建一个worksheet
title_excel = workbook.add_sheet('My Worksheet')
numx=-1
for item in bs.find_all('div', class_="bibref"):
    #print(item.text)
    numx+=1
    item = str(item.text)
    i = item.find('author')
    i2 = item.find('title')
    i3 = item.find('booktitle')
    title = item[i2+9:i3-4]#标题信息
    title = title.split(" ")
    for i in range(len(title)):
        title[i] =title[i].replace(":","")
        title[i] =title[i].replace(",","")
        title_excel.write(numx,i,title[i])
    print(title)
workbook.save("title_info.xls")

提取效果如下：
在这里插入图片描述
对于标题的提取代码如下（TXT）：

from bs4 import BeautifulSoup
fil = open("./ICCV.Html","rb")
html = fil.read()
bs  = BeautifulSoup(html,"html.parser")
txt = 'title.txt'
numx=-1
with open(txt,'w') as file:
    for item in bs.find_all('div', class_="bibref"):
        numx+=1
        item = str(item.text)
        i = item.find('author')
        i2 = item.find('title')
        i3 = item.find('booktitle')
        title = item[i2+9:i3-4]#标题信息
        title = title.split(" ")
        for i in range(len(title)):
            title[i] =title[i].replace(":","")
            title[i] =title[i].replace(",","")
        for i in range(len(title)):
            print(title[i])
            file.write(title[i]+',')

图片略，和上面的TXT几乎一个样

3. 生成词云

词云主要是通过统计词汇出现频率，继而根据频率的大小，设置词汇的大小，最终填充某一区域。主要使用的是wordcloud库
代码如下：

import matplotlib.pyplot as plt

from wordcloud import WordCloud
# 1.读入txt文本数据
file = open(u'此处放入第二节生成的TXT文件','r',encoding='utf-8').read()
word_cloud = WordCloud(
        background_color='white',
        width=800,
        height=600,
       max_font_size=80,  )
word_cloud.generate(file)
word_cloud.to_file(r"生成的词云文件.png")
# 以图片的形式显示词云
plt.imshow(word_cloud)
# 关闭图像坐标系
plt.axis("off")
plt.show()

作者词云如下：
在这里插入图片描述
 
论文标题词云如下（没去处介词，可以去除一下）：
在这里插入图片描述

4. 生成作者关系矩阵与Gephi所需的两个CSV文件

在Gephi中，需要两个CSV文件用来生成节点与边

  • 节点CSV文件，存在三个属性，“Label”，“ID”，“Weight”
  • 边CSV文件，也存在三个属性，“Source”，“Target”，“Weight”

所以，本次分析中，我们构建这两个CSV文件的原则如下：

  • 每一个作者为一个节点，代表发布了论文。
  • 如果在同一篇论文中，有着不同的作者，则不同的作者两两之间存在一条边， 权重为 1
  • 若一个作者撰写了多篇论文，则作者节点的权重增加。
  • 若在多篇论文中，有着相同的两个或以上的作者，则两个或以上作者之间的边权重增加

根据以上原则，我们可以开始构建关系矩阵与CSV文件了，我写的不算很明白，具体看代码吧。
其次，其实关系矩阵并不是很好的可视化方法，因为稍微动脑子想想，就知道这种矩阵肯定是非常稀疏的矩阵，但是就展示出来看一下吧。代码如下：

mport pandas as pd
import  xlrd
import  numpy as np
import  csv
import  matplotlib.pyplot as plt
#使用pandas读取excel文件
xls_file = xlrd.open_workbook('之前生成的EXCEL文件.xls')
name_list = []
name_count=[]
correlation =[0 for i in range(len(name_list))]
print(correlation)
correlation = correlation*(len(name_list))
print(correlation)
sheet =xls_file.sheet_by_index(0)             # 读sheet，这里取第一个
rows  = sheet.nrows                      # 获得行数
data  = [[] for i in range(rows)]        # 去掉表头，从第二行读数据
for i in range(1, rows+1):
    data[i-1] = sheet.row_values(i-1)[0:16] #
    #for var in data:
        #print(var)
# print(len(data))
# print(len(data[0]))
# print(data[0])
for hang in range(len(data)):
    for lie in range(len(data[0])):
        name = data[hang][lie]
        if(name not in name_list and name != ""):
            name_list.append(name)
            name_count.append(0)
        if(name in name_list):

            index = name_list.index(name)
            name_count[index]+=1

#开始构建二维矩阵，统计交互

correlation = [([0]*(len(name_list))) for i in range(len(name_list))]
actual_length =0
for hang in range(len(data)):
    actual_length =0
    one_paper_author = data[hang]
    for ii in range(len(one_paper_author)):
        if(one_paper_author[ii]==""):
            actual_length = ii
            break
    for num in range(actual_length-1):
        for num2 in  range(num+1,actual_length):
            name1 = one_paper_author[num]
            name2 =one_paper_author[num2]
            index1 = name_list.index(name1)
            index2 = name_list.index(name2)
            correlation[index1][index2]+=1
            correlation[index2][index1]+=1
np_co = np.array(correlation)
print(np_co.shape)
x_size,y_size = np_co.shape

plt.matshow(np_co)
plt.show()#记得把图像窗口关了才能继续运行
f = open('author_weights.csv','w',encoding='utf-8')
csv_writer = csv.writer(f)
csv_writer.writerow(["Source","Target","Weight"])
for i in range(x_size):
    for j in  range(i,y_size):
        if(np_co[i][j] != 0):
            csv_writer.writerow([name_list[i],name_list[j],np_co[i][j]])

f.close()

fff = open('author_counts.csv','w',encoding='utf-8')
csv_writer = csv.writer(fff)
csv_writer.writerow(["ID","Label","Weight"])
for i in range(len(name_list)):
    csv_writer.writerow([name_list[i],name_list[i],name_count[i]])
fff.close()

下面为生成的3500多位作者的关系矩阵，估计都看不清。。。。
在这里插入图片描述
放大一点就好些了

然后就可以生成CSV文件了，以作者的为例：
在这里插入图片描述

5. 在Gephi调整出关系网

Gephi主要用来分析复杂关系网，在本次中，我主要用来分析作者之间的关系与论文标题热词之间的关系。
Gephi是免费的，安装也很简单，上他的官网下载就可以。

  • 第一步，选择新建工程

在这里插入图片描述

  • 第二步，点击左上角的数据资料，依次选择节点和边，输入电子表格

在这里插入图片描述
输入节点的电子表格，如下：在这里插入图片描述
点击下一步，点击完成，之后选择Append to existing workspace在这里插入图片描述
对于边的添加也同理，但是注意，需要调整边为有向边还是无向边（本次为无向边）
在这里插入图片描述
可以看到，已经全部导入进去了
在这里插入图片描述

  • 第三步，回到左上角，点击概览可以进行调整
    开始是一坨黑糊糊

可调的有如下几个部分（括号内指可选项）（我利用过的）：

  • 节点颜色（固定，手动设定，按照权重自动设定，按度自动设定）

  • 节点大小（固定，按照权重/度自动设定）

  • 节点标签颜色（固定，手动设定，按照权重自动设定，按度自动设定）

  • 节点标签大小（固定，按照权重/度自动设定）

  • 边的颜色（固定，手动设定，按照权重自动设定）

  • 边的标签尺寸（固定，按照权重自动设定）

  • 边的标签大小（固定，按照权重自动设定）
    具体的大家自己去发掘吧，***标签需要点击界面下方黑色的T生成
    在这里插入图片描述
    对于外观，可以根据喜好去设置，存在动态和静态的
    在这里插入图片描述
    简单随意生成了一下，可见还是过于稀疏，所以必须删除部分
    在这里插入图片描述
    删除了部分作者，在本次，我只保留了发表论文数大于等于4的大牛
    下面这张图张图是根据节点的权重调整节点的大小的，就是说，作者发表的论文越多，节点越大
    在这里插入图片描述
     
    这一张是根据节点的度决定节点的大小的，节点越大，说明与这位作者合作发表的人越多
    在这里插入图片描述
     
    下面这张是关于论文标题的热词关系的
    在这里插入图片描述

-第四步， 那么，如何导出图片呢，不能从概览里面导出，应该从预览里面导出

在概览处点击刷新，就能够产生更直观的关系网了，在左侧还可以继续调整参数，这里就不多讲了。点击左下角的部分，就可以进行矢量图导出。在这里插入图片描述

6. Gephi的一个BUG 预览空白 没有反应

可能存在点击预览中的刷新没有反应的情况，这时候参考下面一片博客的做法就可以了
至少我的可以。。。
Gephi绘图时，预览不显示图形的解决办法

7. 总结

CUG的数据可视化作业，感觉海星，具体的数据分析内容就免了，可以自己走一遍去试试
因为Gephi的BUG或我的BUG，存在几个作者的标签重叠，于是删掉了
如果有空会上传全部图像/代码到gayhub，这刚刚结课，先休息几天。
我的代码水平和CSDN写博客水平稀烂，稀烂，轻喷，轻喷。。。。

LTIR_752
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[关系图谱] 一.Gephi通过共现矩阵构建知网作者关系图谱
杨秀璋的专栏
08-16 2万+
作者最近研究人物关系图谱，准备发表相关的文章，原本是用Python Networkx库绘制，但效果不太理想；故改为Gephi软件，发现其非常好看，特分享几篇文章供大家交流学习，希望对您有所帮助，尤其是引文分析、社交网络、主题分布等方向的同学。后续的文章将尽可能的使用Markdown语法撰写了。 参考文章：【python数据挖掘课程】十七.社交网络Networkx库分析人物关系（初识篇） ...
iccv文献引用
weixin_34107955的博客
02-25 1424
1.@inproceedings:会议 2.@article：期刊 3.@incollection：书 4.@misc：啥不是 author的名字书写： pdf显示为：G. Wang bibtex中： 方式一：G. Wang 方式二：Guangcong Wang 方式三：Wang, Guangcong 另注：各个名字之间要用and隔开，用逗号“，”...
python爬取b站弹幕分析_Python爬取分析B站动漫《柯南》弹幕，从数据中分析接下来的剧情...
weixin_39706561的博客
11-23 2155
前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。作者：栗科技一、爬取介绍利用Chrome浏览器抓包可知，B站的弹幕文件以XML文档式进行储存，如下所示(共三千条实时弹幕)其URL为：http://comment.bilibili.com/183362119.xml数字183362119则代表该视频专属ID，通过改变数字即可得...
gephi生成网络关系图_“知识结构”初探｜学术全领域47310张星云图可视呈现与结构分析...
weixin_39821189的博客
11-30 479
指导老师 | 傅洛伊 王新兵核心成员 | 李琦https://dev.acemap.info/map/paperMap/0?type=seminal_paper_map​导读长期以来，人类的知识包含在形形色色的出版物中，并得以传播。而出版物之间相互关联的方式之一就是通过彼此之间的引用关系。我们称这些关系所形成的结构为“知识结构”。纵观万物，事物之间总能够通过结构产生关联。在我们的身体中，每经过一年...
手把手教你上手Gephi制作基于共现矩阵的论文作者关系图谱
SL_World的博客
04-06 1万+
引言：Gephi是一款开源免费跨平台基于JVM的复杂网络分析软件，其主要用于各种网络和复杂系统，动态和分层图的交互可视化与探测开源工具。 ——摘自百度百科 提前预览下我们要做出来关系图谱 有木有很心动的感觉？！！那就赶快和我一起上车吧✿✿ヽ(°▽°)ノ✿ 一、数据准备 ①节点数据： 对于大规模节点和复杂的关系，无法通过手动一个一个节点的添加，往往通过程序处理好程序存储在xlsx表格或csv文...
ICCV2019 (3).zip
11-07
IEEE International Conference on Computer Vision，即国际计算机视觉大会，由IEEE主办，与计算机视觉模式识别会议（CVPR）和欧洲计算机视觉会议（ECCV）并称计算机视觉方向的三大顶级会议，被澳大利亚ICT学术会议...
ICCV2019.zip
11-07
IEEE International Conference on Computer Vision，即国际计算机视觉大会，由IEEE主办，与计算机视觉模式识别会议（CVPR）和欧洲计算机视觉会议（ECCV）并称计算机视觉方向的三大顶级会议，被澳大利亚ICT学术会议...
ICCV2019_Paper_Table.xlsx
11-07
该xlsx文件包含了ICCV2019会议的所有论文的信息，其中包括论文名称，作者，论文摘要，并且对不同workshop的论文做了区分。其中A1行是ICCV2019会议的workshop。
ICCV2019oral.pdf
11-26
计算机人工智能计算机视觉定会ICCV2019，本文档专门选取摘录ICCV 2019 oral文章，共学习、参考、科研使用。
ICCV2019论文合集
最新发布
01-19
Chen_Fast_Point_R-CNN_ICCV_2019_paper Wang_Range_Adaptation_for_3D_Object_Detection_in_LiDAR_ICCVW_2019_paper Behley_SemanticKITTI_A_Dataset_for_Semantic_Scene_Understanding_of_LiDAR_Sequences_ICCV_...
新冠数据整理和简单分析
Shiyang的博客
04-06 1万+
关于新冠病毒的时序，复杂网络，小波分析第一部分。第二篇会在本文的基础上继续深入每个部分的介绍，并简单建立SIR模型。
从CVPR，到ICCV，再到ECCV
仰望星空的麦兜
05-07 1万+
记得大四我刚进实验室做毕设的时候，看到一篇相关的论文，这篇论文发表在CVPR上，当时我在想CVPR是个什么东西，后来师兄告诉我这是我们计算机视觉领域一个顶级国际会议的名字，它和ICCV，ECCV并称为视觉三大。从此我潜意识里一直觉得这些都是遥不可及的。 转眼两年过去了，来到研二上学期。在过去的1年多时间里，我看了很多文章，也对其中一些有比较深的理解，对搞研究做学术更有了进一步的认识并且也将之
爬取CV三大顶会CVPR,ECCV,ICCV论文并做成CSV方便查询
lkangkang的博客
01-19 1912
代码：https://github.com/kangkang59812/crawl_paper.git csv下载地址：https://download.csdn.net/download/lkangkang/10927923
爬虫（13）-爬虫爬取CVPR+ICCV+ECCV期刊论文自动下载PDF保存文件中（科研党福利）
qq_42754919的博客
10-29 2731
文章目录1.分析网页2.分析ECCV期刊页面3.爬取ECCV期刊代码4.爬取ICCV期刊代码5.爬取CVPR期刊代码6.结果展示 最近导师叫我下载CVPR，ICCV，ECCV会议论文，发现每个期刊都有好几百篇论文。一个一个点击非常耗费时间，正好在学习爬虫，利用爬虫抓取一下网页。 完成老师分配的任务之后将这个代码分享出来，供大家使用和学习，解决下载论文的烦恼。毕竟科技的进步就是使人懒惰，哈哈哈 运行速度和每个人的网速有关，可以先在浏览器中下载一个论文，测一下网速，网速慢的话建议搭载VPN，也有部分论文内存很大
怎么找CVPR/ICCV/ECCV文章
不要回答的博客
10-08 6714
原文链接：https://www.jianshu.com/p/aed3dd8c81fa CVPR论文查找（每年一届）点击如下链接，输入相关关键字即可搜索。 http://openaccess.thecvf.com/CVPR2013_search.py http://openaccess.thecvf.com/CVPR2014_search.py http://openaccess.thecvf.com/CVPR2015_search.py http://openaccess.thecvf.com/CVPR2
学术 | 一文了解计算机视觉会议(顶级会议)，申请要求及论文LaTeX排版
weixin_44649780的博客
07-24 7501
ICCV的全称是IEEEInternationalConferenceonComputerVision，即国际计算机视觉大会，是公认的三个会议中级别最高的。它的举办地方会在世界范围内选，每两年召开一次（奇数年份）。dblpICCVECCV的全称是EuropeanConferenceonComputerVision，即欧洲计算机视觉国际会议。每两年召开一次，与ICCV正好错开（偶数年份）。ECCV官网提交网站ECCV2020的提交网站是OpenReview（不是CMT）。%......
Gephi做作者/机构/关键词等共现网络可视化图数据获取方法
weixin_45354960的博客
07-10 4290
Gephi作图数据如何获得
[Pyhon大数据分析] 五.人民网新闻话题抓取及Gephi构建主题知识图谱
热门推荐
杨秀璋的专栏
04-13 2万+
前文分享了采用SnowNLP对微博话题进行简单的情感分析及文本挖掘。这篇文章将讲解Python抓取人民网新闻，并利用Gephi构建疫情主题知识图谱，发现各主题关键词的关联。希望这篇基础性文章对您有所帮助，也非常感谢参考文献中老师的分享！如果您有想学习的知识或建议，可以给作者留言~
查找计算机视觉三大顶级会议论文的方法ICCV,CVPR,ECCV
the_little_fairy___的博客
04-03 1898
ICCV: http://www.informatik.uni-trier.de/~ley/db/conf/iccv/index.html ECCV: http://www.informatik.uni-trier.de/~ley/db/conf/eccv/index.html CVPR: http://dblp.uni-trier.de/db/conf/cvpr/index.html 还可以找到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值