![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
datawhale组队学习
文章平均质量分 71
唐yi壹佰
这个作者很懒,什么都没留下…
展开
-
DataWhale数据分析组队学习——Day7
DataWhale数据分析组队学习——Day7文章目录DataWhale数据分析组队学习——Day7前言社交⽹络分析图类型图统计指标数据处理步骤具体代码如下总结前言今天学习的内容是学术前沿分析的Task5——作者信息关联.具体任务如下:学习主题:作者关联(数据建模任务),对论⽂作者关系进⾏建模,统计最常出现的作者关系;学习内容:构建作者关系图,挖掘作者关系学习成果:论⽂作者知识图谱、图关系挖掘社交⽹络分析图是复杂⽹络研究中的⼀个重要概念。Graph是⽤点和线来刻画离散事物集合中的每对事物原创 2021-01-17 21:33:54 · 270 阅读 · 0 评论 -
DataWhale数据分析组队学习Day6
DataWhale数据分析组队学习Day6文章目录DataWhale数据分析组队学习Day6前言文本分类思路数据处理步骤思路1思路2总结前言今天学习数据分析之学术前沿分析的第四个任务——论文种类分类.学习主题:论⽂分类(数据建模任务),利⽤已有数据建模,对新论⽂进⾏类别分类;学习内容:使⽤论⽂标题完成类别分类;学习成果:学会⽂本分类的基本⽅法、 TF-IDF 等;关于TF-IDF的更多内容可参考[机器学习]TF-IDF是什么.文本分类思路思路1:TF-IDF+机器学习分类器直接使⽤原创 2021-01-16 23:05:12 · 310 阅读 · 1 评论 -
DataWhale——数据分析组队学习Day5
DataWhale——数据分析组队学习Day5文章目录DataWhale——数据分析组队学习Day5前言数据处理数据处理步骤代码实现总结前言今天要学习本次组队学习的第三部分:任务主题:论⽂代码统计,统计所有论⽂出现代码的相关统计;任务内容:使⽤正则表达式统计代码连接、⻚数和图表数据;任务成果:学习正则表达式统计;下面来看详细的操作:数据处理在原始arxiv数据集中作者经常会在论⽂的 comments 或 abstract 字段中给出具体的代码链接,所以我们需要从这些字段⾥⾯找出代码的链原创 2021-01-15 22:47:28 · 133 阅读 · 0 评论 -
DataWhale——数据分析组队学习Day4
DataWhale——数据分析组队学习Day4前言这一节是第二个任务了,论文作者统计.任务主题:论⽂作者统计,统计所有论⽂作者出现评率Top10的姓名;任务内容:论⽂作者的统计、使⽤ Pandas 读取数据并使⽤字符串操作;任务成果:学习 Pandas 的字符串操作;数据读取import json #读取数据,我们的数据为json格式的import pandas as pd #数据处理,数据分析data = []with open("arxiv-metadata-oai-2019.js原创 2021-01-14 23:04:42 · 69 阅读 · 0 评论 -
DataWhale——数据分析组队学习(Day3)
DataWhale——数据分析组队学习(Day3)前言今天是第三天了,继续淦.今天的任务是继续上一天数据预处理的内容,从数据中提取出来2019年以后的论文内容,以及数据分析和可视化的内容.一、数据预处理我们的任务要求对于2019年以后的paper进⾏分析,所以⾸先对于时间特征进⾏预处理,从⽽得到2019年以后的所有种类的论⽂:data["year"] = pd.to_datetime(data["update_date"]).dt.year #将update_date从例如2019-02-2原创 2021-01-14 00:06:16 · 114 阅读 · 0 评论 -
DataWhale数据分析组队学习——Day2
DataWhale数据分析组队学习——Day2引言读取数据数据预处理总结引言今天是第二天,花了很多时间去搜索网页爬虫的资料,具体有几种方法,要考虑到从不同的网页抓取有不同的方法,一般用的方法有requests,下面的话一种方法是使用bs4的BeautifulSoup,另外一种方法需要找到我们要爬取内容的路径,找路径需要网页的开发者模式。但是自己还是没有能短时间内掌握,所以还是老实把数据下载了下来,实属无奈。读取数据# 读入数据data = [] #初始化#使用with语句优势:1.自动关闭文件句原创 2021-01-12 23:15:53 · 319 阅读 · 0 评论 -
DataWhale——21期数据分析组队学习
DataWhale——21期数据分析组队学习Day1前言一、今天做了什么?二、使用步骤1.引入库2.读入数据总结Day1前言今天是参加DataWhale——21期数据分析组队学习的第一天,在参加这个组队学习之前我心里是很犹豫的,因为我的Python基础不是很好,虽然我自学了Python基础,但是我还没有真正用到案例上的经历,并且很多东西因为用的少,学习的时间长了有点淡忘了,如果我以后要从事数据分析类的工作的话几乎就没有机会了,虽然我一直有好好学习数据挖掘和数据分析的打算,那么参加这个组队学习原创 2021-01-11 23:16:37 · 93 阅读 · 1 评论