coldfish的博客

数据建模及模型评估数据分析的目的就是，运用数据结合业务来得到得到或评估我们需要知道的结果。经过前面的学习，我们学会了数据清洗，可视化等操作。下面我们来进行数据建模，搭建一个预测模型或者其他模型，从这个模型的到结果，我们还要分析模型是不是足够的可靠，也就是评估这个模型。我们利用泰坦尼克号的数据集，来完成泰坦尼克号存活预测任务。数据建模# 读取原数据数集train = pd.read_csv('train.csv')train.shape我们利用前面数据清洗的方法对原始数据进行清洗去除无用的

数据可视化

数据重构一、数据合并我们将之前的train.csv分成了四部分前左(left-up)前右(right-up)后左(left-down)后右 (right-down)text_left_up = pd.read_csv("data/train-left-up.csv")text_left_down = pd.read_csv("data/train-left-down.csv")text_right_up = pd.read_csv("data/train-rig

数据清洗在把数据拿来做分析前，通常我们要做数据清洗，因为我们拿到的原始数据通常是不干净的，所谓的不干净，就是数据中有异常值，缺失值或存在不能直接使用的值等，需要经过一定的处理才能继续做分析或建模。所以拿到数据的第一步是进行数据清洗，对缺失值、重复值、字符串等做数据清理转换等操作，将数据清洗成可以分析或建模的样子。观察缺失值import numpy as npimport pandas as pddf = pd.read_csv("train.csv")# 通过info查看数据信息df.info

动手学数据分析1-数据加载及探索性数据分析数据加载# 导入numpy和pandasimport numpy as npimport pandas as pd# 读入整个csv文件数据df = pd.read_csv('train.csv')# 显示前5条print(df.head(5)# 也可以按每100为一个数据模块，逐块读取chunker=pd.read_csv("train.csv",chunksize=100)while True: try: df=