Python
Bread Sir
记录算法之路
展开
-
Datawhale-数据分析-Task05 数据建模及模型评估
特征工程缺失值填充编码分类变量模型搭建处理完前面的数据我们就得到建模数据,下一步是选择合适模型在进行模型选择之前我们需要先知道数据集最终是进行监督学习还是无监督学习除了根据我们任务来选择模型外,还可以根据数据样本量以及特征的稀疏性来决定刚开始我们总是先尝试使用一个基本的模型来作为其baseline,进而再训练其他模型做对比,最终选择泛化能力或性能比较好的模型切割训练集和测试集按比例切割训练集和测试集(一般测试集的比例有30%、25%、20%、15%和10%)按目标变量分层进行等比切割原创 2020-08-28 08:37:05 · 194 阅读 · 0 评论 -
Datawhale-数据分析-Task04 数据可视化
数据可视化导入数据matplotlib 中有常用的线型图。常用的还有柱状图。此外,还有直方图和密度图。直方图是一种可对值频率进行离散化显示的柱状图。而密度图是通过计算可能会产生观测数据的连续概率分布的估计而产生的。可视化展示泰坦尼克号数据集中男女中生存人数分布情况(柱状图)。可以从图上看出女性的存活人数要多于男性。可视化展示泰坦尼克号数据集中男女中生存人与死亡人数的比例图可以直观看出女性生存比例要高于男性。可视化展示泰坦尼克号数据集中不同票价的人生存和死亡人数分布情况。原创 2020-08-25 14:26:24 · 184 阅读 · 0 评论 -
Datawhale-数据分析-Task03 数据重构
导入数据数据合并将data文件夹里面的所有数据都载入,与之前的原始数据相比,观察他们的之间的关系使用concat方法:将数据train-left-up.csv和train-right-up.csv横向合并为一张表,并保存这张表为result_up使用concat方法:将train-left-down和train-right-down横向合并为一张表,并保存这张表为result_down。然后将上边的result_up和result_down纵向合并为result。使用DataFrame自带原创 2020-08-24 09:15:10 · 196 阅读 · 0 评论 -
Datawhale-数据分析-Task02 数据清洗及特征处理
对缺失值进行处理重复值观察与处理查看数据中的重复值对重复值进行处理特征观察与处理对年龄进行分箱处理对文本变量进行转换从纯文本Name特征里提取出Titles的特征(所谓的Titles就是Mr,Miss,Mrs等)...原创 2020-08-21 20:27:36 · 223 阅读 · 0 评论 -
Datawhale-数据分析-Task01数据加载及探索性数据分析
PART 1:数据加载1.1 载入数据主要是对原数据(csv ,etc.)进行导入并处理,需要numpy和pandas这两个常用库。1.1.1 导入numpy 和 pandasimport numpy as npimport pandas as pd1.1.2 载入数据# load .csv datadf = pd.read_csv('train.csv')df.head(3)1.1.3 每1000行为一个数据模块,逐块读取chunker = pd.read_csv('train原创 2020-08-16 15:00:23 · 177 阅读 · 0 评论 -
Flush Python
1. 内置序列类型概览容器序列:list, tuple, collections.deque扁平序列:str, bytes, bytearray, memoryview, array.array容器序列存放的是它们所包含的任意类型的对象的引用,而扁平序列里存放的是值而不是引用也可以按照序列类型能否被修改来分类可变序列:list, bytearray, array.array, co...原创 2019-11-14 16:42:50 · 164 阅读 · 1 评论 -
Python数据分析之pandas入门
pandas是python中使得数据分析工作变得更快更简单的高级数据结构和操作工具。pandas有两个主要的数据结构,首先介绍其一Series。Seriesfrom pandas import Series, DataFrameimport pandas as pdobj = Series([4, 7, -5, 3])# 索引在左边,值在右边obj0 41 ...原创 2019-07-18 20:08:09 · 178 阅读 · 0 评论 -
通过腾讯云(阿里云)Cloud Server搭建远程Jupyter notebook
因为最近学习Python相关知识一直使用的是Jupyter notebook,但是我只是在自己的电脑上安装了Jupyter notebook,所以只是在本地服务器上使用,这样一旦没有了电脑就无法使用。所以今天突发奇想,是否可以在自己买的服务器上搭建一个远程的Jupyter notebook,这样就直接使用任何终端(比如ipad)就可以进行Python的学习了。ipython安装哈哈,事不宜...原创 2019-07-26 15:18:18 · 1029 阅读 · 1 评论