- 博客(5)
- 收藏
- 关注
RSS订阅原创 数据分析学习（五）
学习目标：学习主题：作者关联（数据建模任务），对论文作者关系进行建模，统计最常出现的作者关系；学习内容：构建作者关系图，挖掘作者关系学习成果：论文作者知识图谱、图关系挖掘数据处理步骤：将作者列表进行处理，并完成统计。具体步骤如下：将论文第一作者与其他作者（论文非第一作者）构建图；使用图算法统计图中作者与其他作者的联系；社交网络分析：图是复杂网络研究中的一个重要概念。Graph是用点和线来刻画离散事物集合中的每对事物间以某种方式相联系的数学模型。Graph在现实世界中随处可见，如交通运输
2021-01-26 13:09:31
74
原创 数据分析学习（四）
学习任务：学习主题：论文分类（数据建模任务），利用已有数据建模，对新论文进行类别分类；学习内容：使用论文标题完成类别分类；学习成果：学会文本分类的基本方法、TF-IDF等；数据处理步骤：在原始arxiv论文中论文都有对应的类别，而论文类别是作者填写的。在本次任务中我们可以借助论文的标题和摘要完成：对论文标题和摘要进行处理；对论文类别进行处理；构建文本分类模型；文本分类思路：思路1：TF-IDF+机器学习分类器直接使用TF-IDF对文本提取特征，使用分类器进行分类，分类器的选择上可以
2021-01-22 19:45:57
60
原创 数据分析学习（三）
学习目标：论文代码统计，统计所有论文出现代码的相关统计学习内容：任务内容：使用正则表达式统计代码连接、页数和图表数据；任务成果：学习正则表达式统计；数据处理步骤：在原始arxiv数据集中作者经常会在论文的comments或abstract字段中给出具体的代码链接，所以我们需要从这些字段里面找出代码的链接。确定数据出现的位置；使用正则表达式完成匹配；完成相关的统计；具体代码实现：# 导入所需的packageimport seaborn as sns #用于画图from b
2021-01-20 18:12:09
76
原创 数据分析学习（二）
学习目标：论文作者统计，统计所有论文作者出现评率Top10的姓名学习内容：任务内容：论文作者的统计、使用 Pandas 读取数据并使用字符串操作；任务成果：学习 Pandas 的字符串操作.代码实现：数据读取data = []with open("arxiv-metadata-oai-snapshot.json", 'r') as f: for idx, line in enumerate(f): d = json.loads(line) d
2021-01-16 22:03:21
63
原创 数据分析学习（一）
学习目标：初步学习数据分析知识学习内容：任务主题：论文数量统计，即统计2019年全年计算机各个方向论文数量；任务内容：赛题的理解、使用 Pandas 读取数据并进行统计；任务成果：学习 Pandas 的基础操作。学习产出：数据集介绍数据集来源：数据集来源.数据集的格式如下：id：arXiv ID，可用于访问论文；submitter：论文提交者；authors：论文作者；title：论文标题；comments：论文页数和图表等其他信息；journal-ref：论文发表的期刊的
2021-01-14 11:47:42
140
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人