DW-DA-01

Jupyter Notebook使用

进入文件夹，CMD，输入jupyter notebook启动网页book

numpy和pandas一些操作 

import numpy
import pandas as pd

# 不用print，直接显示结果
from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = "all"

# 显示所有列
pd.set_option('display.max_columns', 600)

#第一节
#1载入数据
# 相对路径载入
df = pd.read_csv('train.csv')
#绝对路径载入
df = pd.read_csv('E:\wyndwd\datawhale\数据分析\动手学数据分析-组队学习版\第一单元项目集合\\train.csv')
df.head(3)
#2逐块读取
chunker = pd.read_csv('train.csv',chunksize=1000)
#3修改表头
df = pd.read_csv('train.csv', names=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口'],index_col='乘客ID',header=0)
df.head()
#1.2-1查看基本信息
df.info()
#2前15行和后15行
df.head(15)
df.tail(15)
#1.3-1另存为
df.to_csv('train_chinese.csv')

#第二节
#1.4.1
sdata = {"a":1,"b":2,"c":3}
eg = pd.Series(sdata)
#1.4.2载入
df = pd.read_csv('train.csv')
df.head(3)
#1.4.3每列的项
df.columns
#1.4.4查看cabin这列的前5项
df['Cabin'].head(5)
#1.4.5删除多余的列
test_1 = pd.read_csv('test_1.csv')
test_1.head(3)
del test_1['a']
test_1.head(3)
#6隐藏元素
df.drop(['PassengerId','Name','Age','Ticket'],axis=1).head(3)
#1.5.1，2筛选
df[df["Age"]<10].head(3)
midage=df[(df["Age"]>10)&(df["Age"]<50)]
midage.head(3)
#1.5.3显示某行某些数值
midage=midage.reset_index(drop=True)
midage.head(3)
midage.loc[[100],['Pclass','Sex']]
#1.5.4使用loc方法将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来
#有表格效果
#输入dataframe,索引
midage.loc[[100,105,108],['Pclass','Name','Sex']]
#1.5.5使用iloc方法将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来
midage.iloc[[100,105,108],[2,3,4]]

 

import numpy as np
import pandas as pd

# 不用print，直接显示结果
from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = "all"

text = pd.read_csv('train_chinese.csv')
text.head()
#1.6.1排序
#构建
frame=pd.DataFrame(np.arange(8).reshape((2,4))
                   ,index=['2','1'],columns=['a','b','c','d'])
#排序
frame.sort_values(by='c',ascending=False)
# 让行索引升序排序
frame.sort_index()
# 让列索引升序排序
frame.sort_index(axis=1)
# 让列索引降序排序
frame.sort_index(axis=1, ascending=False)
# 让任选两列数据同时降序排序
frame.sort_values(by=['a', 'c'])

text.sort_values(by=['票价', '年龄'], ascending=False).head(3)
#1.6.3 pandas两个DataFrame相加
frame1_a = pd.DataFrame(np.arange(9.).reshape(3, 3),
                     columns=['a', 'b', 'c'],
                     index=['one', 'two', 'three'])
frame1_b = pd.DataFrame(np.arange(12.).reshape(4, 3),
                     columns=['a', 'e', 'c'],
                     index=['first', 'one', 'two', 'second'])
frame1_a+frame1_b
#1.6.4最大的家族
max(text['兄弟姐妹个数'] + text['父母子女个数'])
#1.6.5
#使用pandas describe()
'''
count : 样本数据大小
mean : 样本数据的平均值
std : 样本数据的标准差
min : 样本数据的最小值
25% : 样本数据25%的时候的值
50% : 样本数据50%的时候的值
75% : 样本数据75%的时候的值
max : 样本数据的最大值
'''
frame2 = pd.DataFrame([[1.4, np.nan],
                       [7.1, -4.5],
                       [np.nan, np.nan],
                       [0.75, -1.3]
                      ], index=['a', 'b', 'c', 'd'], columns=['one', 'two'])
frame2.describe()
#1.6.6
text['票价'].describe()
text['父母子女个数'].describe()