数据分析
梦坠凡尘(AICV与前沿)
这个作者很懒,什么都没留下…
展开
-
pandas删除包涵特定字符串所在的行
import pandas as pddf = pd.read_csv('./1111.csv')print('原来的是: ', df.shape)y = df[df['filename'].str.contains('other')] # 这里填写需要删除的关键字!!!!!!!!!print('需要删除: ', y.shape)new = df.drop(df[df['filename'].str.contains('other')].index)print('剩下的是 : ', new原创 2020-12-29 18:02:45 · 4111 阅读 · 1 评论 -
划分训练、测试数据集,从Dataframe中选取固定id的行数据并存入txt文件
import os, random, shutil# 创建目录test_path = './test_path/'if not os.path.exists(test_path): os.makedirs(test_path) print('test_path is Ok')else: print('test_path is exit')new_train_...原创 2019-11-26 12:27:18 · 530 阅读 · 0 评论 -
数据划分测试、验证集,文件转移
import os, random, shutil# 创建目录test_path = './test_path/'if not os.path.exists(test_path): os.makedirs(test_path) print('test_path is Ok')else: print('test_path is exit')##深度学习过程中,需...原创 2019-11-22 13:52:49 · 339 阅读 · 0 评论 -
数据分析 + 可视化(1)
数据分析主要掌握的几个库:numpy, pandas, seaborn, matplotlib数据分析流程1.查看数据常用函数:df.head()df.info()df.describe()通过这几个函数初步了解数据长什么样、有无缺失值、基本的统计信息等2.处理缺失数据常用函数:df.isna() #查看数据是否有缺失值df.isnull() #查看数据空值df.dupl...原创 2019-07-21 17:24:21 · 552 阅读 · 2 评论 -
数据分析+可视化(2)
数据上手三部曲1.了解数据大小df.shape2.查看前几行/最后几行数据df.head()df.tail()3.查看数据类型与缺失值df.info()该函数可以看出每一列的数据类型,有多少缺失值日期型变量处理1.导包import calendarfrom datetime import datetime2.获取周一到周日列表calendar.day_name[:]...原创 2019-07-21 22:43:11 · 255 阅读 · 0 评论