“第二课堂”AI实践笔记2

1.数据载入及初步观察

    1）数据加载

 

      （1）载入数据

 

         在conda环境中下载numpy及pandas两个库

 

        【1】 导入numpy和pandas：

 

                import numpy as np

 

                import pandas as py  

 

        【2】载入数据

 

                 使用相对路径载入数据     

 

                 df=pd.read_csv('train.csv')

                 df

 

                 使用绝对路径载入数据

 

                 df=pd.read_csv(r'D:\课程\pandas入门\train.csv')

                 df

 

         【3】【思考】知道数据加载的方法后，试试pd.read_csv()和pd.read_table()的不同，如果 想让他们效果一样，需要怎么做？了解一下'.tsv'和'.csv'的不同，如何加载这 两个数据集？

 

            pd.read_csv()和pd.read_table()

 

            不同：函数pd.read_csv（）和pd.read_table（）的内容相同，只是默认分 隔符不同。在read_csv（）中，定界符为,，在read_table（）中， 定界符为\ t。

 

            如何做：可以通过指定分隔符来调整。如果要读取csv文件（以逗号分 隔），使用函数read_csv（），如果要读取tsv文件（以制表符分 隔），使用函数read_table（）也可以。如 果既不是逗号也不是 制表符， 则可以通过参数（sep或delimiter）设置区分符。 tsv'和'.csv'

 

            不同：tsv'使用制表符（\t）作为分隔符，而csv'使用逗号（,）。

 

            如何加载：加载TSV文件 tsv_data = pd.read_csv('data.tsv', sep='\t') 加载CSV文件 csv_data = pd.read_csv('data.csv')

 

   【4】总结：加载的数据是所有工作的第一步，我们的工作会接触到不同的数据格式（ eg:.csv;.tsv;.xlsx）,但是加载的方法和思路都是一样的，在以后工作和做项目的 过程中，遇到之前没有碰到的问题，要多多查资料吗，使用google，了解业务 逻 辑，明白输入和输出是什么。

 

         【5】逐块读取

 

                  逐块读取是一种数据读取方式，通常在处理非常大的数据集或文件时使用。它指的是 不 是一次性将整个数据集或文件读入内存中，而是按照特定的块大小或批次大小逐块 地读取数据。尤其适用于处理大型数据集或资源受限的环境。它可以帮助管理内存使 用、提高性能、提供灵活性以及实现渐进式计算。

 

                  代码块：

 

                  chunker=pd.read_csv('./train.csv',chunksize=1000)

                  for i in chunker:

                       print(i)

 

          【6】将表头改成中文，索引改为乘客ID [对于某些英文资料，我们可以通过翻译来更直观 的 熟悉我们的数据]

 

                     代码：

 

                    df=pd.read_csv('train.csv',names=['乘客ID','是否幸存','乘客等级','乘客姓名','性别','年 龄','堂兄弟/妹个数','父母与小孩个数','船票信息','票 价','客舱','登船港口'],index_col='乘客ID',header=0)

                   df

 

                【思考】所谓将表头改为中文其中一个思路是：将英文列名表头替换成中文。还有其他 的方法吗？

 

                             自定义函数：你可以编写一个自定义函数来处理列名的转换。这个函数可以读 取英文列名，然后根据一定的规则或查找表将其转换为对应的中 文列名。

 

   （2）初步观察

 

          【1】查看数据的基本信息

 

                   使用函数：df.info()

 

         【2】观察表格前几行的数据和后几行的数据

 

                   使用函数：df.head()

 

                                     df.tail()

 

         【3】判断数据是否为空，为空的地方返回True，其余地方返回False

 

                  使用函数：df.isnull().head()

 

                【思考】对于一个数据，还可以从哪些方面来观察？找找答案，这个将对下面的数据分 析有很大帮助

 

                             数据清洗：

 

                             检查并处理缺失值：确定哪些列有缺失值，以及缺失值的比例。

 

                             处理异常值：识别并处理不合理的或超出预期范围的数据点。

 

                             数据类型校正：确保所有数据类型都与预期相符。

 

                            数据完整性：

 

                             检查数据是否包含了所需的所有信息，是否有遗漏或多余的数据。

 

                             确认数据的时序性、地域性等信息是否准确无误。

 

      （3）保存数据​​​​​​¶

 

                【1】将你加载并做出改变的数据，在工作目录下保存为一个新文件train_chinese.csv

 

                          df.to_csv('train_chinese.csv')

 

2.pandas基础

             （1）知道你的数据叫什么

 

                     【1】pandas中有两个数据类型DateFrame和Series，通过查找简单了解他们

 

                               sdata = {'Ohio': 35000, 'Texas': 71000, 'Oregon': 16000, 'Utah': 5000}

                               example_1 = pd.Series(sdata)

                               example_1 

 

                               

 

                               data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada', 'Nevada'],

                                           'year': [2000, 2001, 2002, 2001, 2002, 2003],'pop': [1.5, 1.7, 3.6, 2.4, 2.9, 3.2]}

                               example_2 = pd.DataFrame(data)

                               example_2

 

                     【2】查看DataFrame数据的每列的名称

 

                              使用函数：df.columns

 

                     【3】查看"Cabin"这列的所有值

 

                              使用函数：df['Name'].head()

 

                                                df.Name.head()

 

                     【4】有哪些多出的列，然后将多出的列删除

 

                              使用函数：test1=pd.read_csv('test_1.csv')

                                                test

 

                                                del test1['a']

                                                test1.head(3)

 

                           【思考】还有其他的删除多余的列的方式吗？

 

                                         test1.drop(columns=['a'],inplace=True)

                                         test1.head(3)

 

                       【5】列元素隐藏，只观察其他几个列元素 df.drop([''],axis=1).head(3)

              （2）筛选的逻辑

 

                       【1】 我们以"Age"为筛选条件，显示年龄在10岁以下的乘客信息。

 

                                  df[df['Age']<10]

 

                       【2】 以"Age"为条件，将年龄在10岁以上和50岁以下的乘客信息显示出来

 

                                  df[(df['Age']>10)&(df['Age']<50)]

 

                       【3】将midage的数据中第100行的"Pclass"和"Sex"的数据显示出来

 

                                midage.loc[[100],["Pclass","Sex"]]

 

                      【思考】这个reset_index()函数的作用是什么？

 

                                    将现有的索引重置，并将其替换为从 0 开始的新整数索引（默认为整数类 型），或者将某一列设置为新的索引。

 

                       【4】使用loc方法将midage的数据中第100，105，108行 的"Pclass"，"Name"和"Sex"的数据显示出来

 

                                midage.loc[[100,105,108],["Pclass","Name","Sex"]]

 

                        【6】使用iloc方法将midage的数据中第100，105，108行 的"Pclass"，"Name"和"Sex"的数据显示出来

                                  midage.iloc[[100,105,108],[2,3,4]]

 

                       【思考】对比iloc和loc的异同

 

                                     相同点：

                                           基础功能：无论是 iloc 还是 loc，它们都是 pandas 中用于索引和选择 数据的方法。

                                           灵活性和便利性：两者都提供了灵活的索引方式，使得用户可以根据 不同的需求选择数据。

                                     不同点：

                                           基于的索引类型不同：

                                                iloc：基于整数位置进行索引，即基于行和列的整数位置进行选择。 它不考虑列名或行标签，只关心位置的顺序。

                                                loc：基于标签进行索引，即根据列名或行标签来选择数据。它需要 知道确切的列名或行标签才能进行选择。

                                           使用场景：

                                                iloc：当你需要基于行和列的整数位置来选择数据时，使用 iloc 会 更加方便。例如，当你需要选择前几行或后几列的数据时，或 者当你需要基于特定位置进行数据操作时。

                                                loc：当你需要根据列名或行标签来选择数据时，使用 loc 会更加直 观和方便。例如，当你需要选择某个特定列的数据，或者根据 某些条件（如满足特定条件的行）来选择数据时。

 

3.探索性数据分析

        （1）了解你的数据吗？

 

                 1）不同的排序方式总结

 

                        【1】让行索引升序排序

                                 frame.sort_index()

 

                        【2】让列索引升序排序

                                  frame.sort_index(axis=1)

 

                        【3】让列索引降序排序

                                  frame.sort_index(axis=1,ascending=False)

 

                        【4】让任选两列数据同时降序排序

                                 frame.sort_values(by=['a','c'],ascending=False)

 

                        【思考】在泰坦尼克号数据分析中，我们可以分析堂兄弟/妹个数与父母与小孩个 数与票价之间的关系或者是否幸存与票价之间的关系进行数据分析

 

                2）利用Pandas进行算术计算，计算两个DataFrame数据相加结果

 

                             建立一个例子

                             frame1_a = pd.DataFrame(np.arange(9.).reshape(3, 3),

                             columns=['a', 'b', 'c'],

                             index=['one', 'two', 'three'])

                             frame1_b = pd.DataFrame(np.arange(12.).reshape(4, 3),

                             columns=['a', 'e', 'c'],

                             index=['first', 'one', 'two', 'second'])

                             frame1_a

 

                             frame1_b

 

                             将frame_a和frame_b进行相加

                             frame1_a+frame1_b

 

                         【#】 两个DataFrame相加后，会返回一个新的DataFrame，对应的行和列的值会 相加，没有对应的会变成空值NaN。

                                   当然，DataFrame还有很多算术运算，如减法，除法等

 

                  3）通过泰坦尼克号数据如何计算出在船上最大的家族有多少人？

 

                        使用函数：max()

 

                   4)学会使用Pandas describe()函数查看数据基本统计信息

 

                      调用 describe 函数，观察frame2的数据基本信息

 

                      count : 样本数据大小

                      mean : 样本数据的平均值

                      std : 样本数据的标准差

                      min : 样本数据的最小值

                      25% : 样本数据25%的时候的值

                      50% : 样本数据50%的时候的值

                      75% : 样本数据75%的时候的值

                      max : 样本数据的最大值

                      frame2.describe()

 

                    【思考】可以看出大部分人的票价低于50￥，只有一小部分人享受有较高的票价