【数据分析第一章】

Lomi222

已于 2022-03-15 22:40:14 修改

阅读量281

点赞数 1

文章标签：数据分析 python

于 2022-03-15 22:35:38 首次发布

本文链接：https://blog.csdn.net/Lomi222/article/details/123513793

版权

这篇博客介绍了Python数据分析的第一章，包括数据载入、初步观察、保存数据、理解数据类型、数据筛选逻辑以及数据排序和计算。重点讨论了如何使用pandas加载CSV和TSV文件，修改表头，检查数据空值，以及如何筛选和排序数据。

摘要由CSDN通过智能技术生成

数据载入及初步观察

- 1 第一章：数据载入及初步观察

1 第一章：数据载入及初步观察

1.1.1 任务一：导入numpy和pandas

import numpy as np
import pandas as pd
import os

1.1.2 任务二：载入数据

(1) 使用相对路径载入数据
(2) 使用绝对路径载入数据

#相对路径
pd.read_csv('train.csv')

#绝对路径
df = pd.read_csv(r'C:\Users\Administrator\hands-on-data-analysis-master\第一单元项目集合\train.csv')

path = os.path.abspath('train.csv')

path

'C:\\Users\\Administrator\\hands-on-data-analysis-master\\第一单元项目集合\\train.csv'

df = pd.read_csv(path)
df

pd.read_table(path)

pd.read_table(path,sep=',')

TSV文件和CSV的文件的区别是：前者使用\t作为分隔符，后者使用 , 作为分隔符。
df = pd.read_csv(‘test.tsv’, sep=’\t’)

1.1.3 任务三：每1000行为一个数据模块，逐块读取

chunker = pd.read_csv("train.csv",chunksize=1000)
  
for piece in chunker:
    print(piece)
    print(type(chunker))

chunker2 = pd.read_csv('train.csv', iterator = True)
print(type(chunker2)) # 得到 TextFileReader
chunker2.get_chunk(1000) # 注意重复运行之后的效果

<class 'pandas.io.parsers.TextFileReader'>

1.1.4 任务四：将表头改成中文，索引改为乘客ID [对于某些英文资料，我们可以通过翻译来更直观的熟悉我们的数据]

PassengerId => 乘客ID
Survived => 是否幸存
Pclass => 乘客等级(1/2/3等舱位)
Name => 乘客姓名
Sex => 性别
Age => 年龄
SibSp => 堂兄弟/妹个数
Parch => 父母与小孩个数
Ticket => 船票信息
Fare => 票价
Cabin => 客舱
Embarked => 登船港口

#方法一df.columns
df.columns = ['乘客ID', '是否幸存', '乘客等级(1/2/3等舱位)', '乘客姓名', '性别', '年龄', '堂兄弟/妹个数', '父母与小孩个数', '船票信息', '票价', '客舱', '登船港口']

df

#方法二df.rename
df = pd.read_csv(path)
df.rename(columns={
   'PassengerId':'乘客ID','Survived':'是否幸存','Pclass' :'乘客等级(1/2/3等舱位)','Name' :'乘客姓名','Sex' :'性别','Age' :'年龄','SibSp' :'堂兄弟/妹个数','Parch' :'父母与小孩个数','Ticket' :'船票信息','Fare' :'票价','Cabin' :'客舱','Embarked' :'登船港口'}, inplace = True