![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据分析
文章平均质量分 83
Ray.L
这个作者很懒,什么都没留下…
展开
-
数据分析-学术前沿趋势分析三
数据分析-学术前沿趋势分析三简介数据处理正则表达式具体代码实现以及讲解简介该博客将继续对论文进行分析,这次是论文代码统计,统计所有论文出现代码的相关统计,使用正则表达式统计代码连接、⻚数和图表数据。数据处理正则表达式在进行数据处理之前,先对正则表达式进行介绍:正则表达式(regular expression)描述了一种字符串匹配的模式(pattern),可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。普通字符:大写和小写字母、所有数字、所有标点符号原创 2021-01-19 16:16:53 · 404 阅读 · 1 评论 -
数据分析-学术前沿趋势分析二
数据分析-学术前沿趋势分析二简介数据处理具体代码实现以及讲解数据读取数据统计简介该篇博客将会针对于上一篇博客继续进行分析,这次将对论文作者进行统计。还是用pandas进行练习,学习使用pandas读取数据并使用字符串操作。数据处理在原始arxiv数据集中论文作者authors字段是一个字符串格式,其中每个作者使用逗号进行分隔分,所以我们我们首先需要完成以下步骤:使用逗号对作者进行切分;剔除单个作者中非常规的字符;具体操作可以参考以下例子:C. Bal\\'azs, E. L. Berge原创 2021-01-16 20:33:40 · 345 阅读 · 0 评论 -
数据分析-学术前沿趋势分析一
数据分析-学术前沿趋势分析1 简介1.1 问题背景1.2 数据说明2 数据介绍3 具体代码实现3.1 导入相关package并读取原始数据3.2 数据预处理3.3 数据分析及可视化总结1 简介该博客将对于学术前沿论文做一些pandas操作。1.1 问题背景本篇博客是对于kaggle里面一个比赛为例子,比赛地址:https://www.kaggle.com/Cornell-University/arxiv,对使用公开的arxiv论文完成一些数据分析操作,实现具体的可视化分析。这篇博客统计2019年全年原创 2021-01-13 20:34:10 · 1188 阅读 · 0 评论 -
NLP实践(新闻文本分类)-数据读取与数据分析
数据读取与数据分析读取数据数据分析句子长度分析新闻类别分类字符分布统计统计出现频率最多的字符数据分析结论总结读取数据赛题数据虽然是文本数据,每个新闻是不定长的,但任然使用csv格式进行存储。因此可以直接用Pandas完成数据读取的操作。import pandas as pdtrain_df = pd.read_csv('train_set.csv', sep='\t', nrows=100)#这里的read_csv由三部分组成,第一个为路径,第二个为分割符,第三个为读取行数(这里训练集比较大,因此原创 2020-07-22 09:32:53 · 1226 阅读 · 0 评论 -
数据分析中的mysql高级
之前的文章介绍了sql的分类以及一些基础知识,本篇博客将介绍mysql里面函数和高级查询的用法。之前博客:传送门。mysql函数与查询1.函数1.1 单行函数1.2 聚合函数1.3 分组函数1.4 加密函数1.5 流程函数2.高级查询2.1 连接查询2.2 子查询2.3 联合查询3.总结1.函数1.1 单行函数数学函数 # 绝对值 abs() # 向上取整,最接近并且大于等于该值的整数值 ceiling()/ceil() # 向下取整,最接近并且小于等于该值的整数值 floo原创 2020-05-27 21:15:04 · 269 阅读 · 0 评论 -
数据分析中的mysql基础
引言:之前的博客对mysql的一些入门知识进行了讲解,该博客将对sql的四个分类进行讲解。之前博客地址:https://blog.csdn.net/weixin_45696161/article/details/106310108sql的分类1.DDL1.1 ddl操作1.1.1 数据库操作1.1.2 数据类型和表操作1.2 数据完整性1.2.1 实体完整性1.2.2 域完整性1.2.3 引用完整性1.3运算符1.3.1 算术运算符1.3.2 比较运算符1.3.3 逻辑运算符1.3.4 位运算符2.D原创 2020-05-25 13:43:16 · 1896 阅读 · 0 评论 -
数据分析中的mysql入门
数据分析中的mysql1.数据库和数据库管理系统1.1 数据库(DataBase)1.2 数据库管理系统(DBMS)1.3 数据库在数据分析中的作用和地位1.4 Mysql数据库管理系统1.5 Mysql数据库管理系统与数据库的关系2.sql初识2.1 什么是sql2.2 sql的分类1.数据库和数据库管理系统1.1 数据库(DataBase)按照数据结构存储数据的仓库1.2 数据库管理系统(DBMS)(Database Management System)是操纵和管理数据库的软件系统原创 2020-05-24 09:00:07 · 413 阅读 · 0 评论