- 博客(7)
- 收藏
- 关注
RSS订阅原创 数据分析实践
动手学数据分析数据聚合与运算1.通过《Python for Data Analysis》P303、Google or Baidu来学习了解GroupBy机制1. 遍历各个分组2. 选择一列或者所有列的子集3. 使用字典和Series进行分组4. 使用函数分组5. 根据所有层级分组#以下列DataFrame为例df = pd.DataFrame({'key1':list('aabba'), 'key2':['one','two','one','two',
2021-07-18 00:46:30
218
原创 数据分析实践
动手学数据分析文件读取时使用绝对路径遇到报错，后解决如df = pd.read_csv(r'C:\Users\XY\Desktop\动手学数据分析\handsondataanalysismaster\第一单元项目集合\train.csv')df.head(10)df = pd.read_csv('/Users/chenandong/Documents/datawhale数据分析每个人题目设计/招募阶段/第一单元项目集合/train.csv')df.head(3)什么是逐块读取？为什么要
2021-07-14 00:27:26
144
原创 零基础数据分析
学习笔记—作者信息关联1 任务说明学习主题：作者关联（数据建模任务），对论文作者关系进行建模，统计最常出现的作者关系；学习内容：构建作者关系图，挖掘作者关系学习成果：论文作者知识图谱、图关系挖掘2 数据处理步骤将作者列表进行处理，并完成统计。具体步骤如下：将论文第一作者与其他作者（论文非第一作者）构建图；使用图算法统计图中作者与其他作者的联系；3 社交网络分析图是复杂网络研究中的一个重要概念。Graph是用点和线来刻画离散事物集合中的每对事物间以某种方式相联系的数学模型。Grap
2021-01-25 22:12:04
105
原创 零基础入门数据分析
学习笔记—论文种类分析1 任务说明学习主题：论文分类（数据建模任务），利用已有数据建模，对新论文进行类别分类；学习内容：使用论文标题完成类别分类；学习成果：学会文本分类的基本方法、TF-IDF等；2 数据处理步骤在原始arxiv论文中论文都有对应的类别，而论文类别是作者填写的。在本次任务中我们可以借助论文的标题和摘要完成：对论文标题和摘要进行处理；对论文类别进行处理；构建文本分类模型；3 文本分类思路思路1：TF-IDF+机器学习分类器直接使用TF-IDF对文本提取特征，
2021-01-22 23:11:36
81
原创 零基础入门数据分析
学习笔记—学术前沿趋势分析论文作者统计任务主题：论文作者统计，统计所有论文作者出现频率Top10的姓名；任务内容：论文作者的统计、使用Pandas读取数据并使用字符串操作任务目标：学习Pandas的字符串操作数据处理步骤在原始arxiv数据集中论文作者authors字段是一个字符串模式，其中每个作者使用逗号进行分割，所以首先需要用逗号对作者进行切分，再剔除单个作者中非常规的字符。数据读取# 导入所需的packageimport seaborn as sns #用于画图from bs4
2021-01-16 21:30:55
94
原创 零基础入门数据分析
学习笔记-学术前沿趋势分析论文数据统计使用pandas读取数据并进行统计，即统计2019年计算机各个方向论文数量。数据集来源：https://www.kaggle.com/Cornell-University/arxiv数据读取#导入所需的packageimport seaborn as snsfrom bs4 import BeautifulSoupimport reimport requestsimport jsonimport pandas as pdimport matplo
2021-01-13 20:20:34
72
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人