python知识分享

#大学课程实践#

第一章：python数据分析概述及环境配置

• 数据分析是一个广义的概念，在很多工作中都需要用到数据分析，甚至有些公司专门设置了数据分析师的岗位。
• 数据分析师是大城市中比较热门的岗位，主要通过各类数据分析工具对数据中的信息进行分析挖掘，撰写数据分析报告来为公司提供决策建议。

• Matplotlib：Matplotlib是一个Python 2D绘图库，可以生成各种类型的图表，如折线图、散点图、饼图等。
• Seaborn：Seaborn是基于Matplotlib的高级数据可视化库，提供了更丰富的图表类型和更易于使用的API。
• Plotly：Plotly是一个交互式数据可视化库，可以生成各种类型的图表，并支持添加交互元素，如鼠标悬停提示、图表缩放等。
• Bokeh：Bokeh是一个用于数据可视化的Python库，它提供了简洁的API和交互式特性，如拖放、缩放和平移等。
• Pandas：Pandas是一个用于数据处理和分析的Python库，它提供了DataFrame数据结构，可以方便地对数据进行操作和可视化。

1.1.python数据分析概述

1.  数据分析的概念：数据分析是利用数学，统计学理论与实践相结合的科学统计分析方法，对Excel数据，数据库中的数据，收集的大量数据，网页抓取的数据进行分析，从中提取有价值的信息并形成结论进行展示的过程。
2. 广义的数据分析包括狭义数据分析和数据挖掘。狭义数据分析通过数据的统计分析发现数据中的信息，分析数据结果背后的原因。
3. 数据挖掘则是通过数学算法和模型挖掘数据潜在规律，还可以预测数据的未来走向。

1.2.数据分析应用场景

1.客户分析：

• 主要是客户的基本数据信息进行商业行为分析，首先界定目标客户，根据客户的需求，目标客户的性质，所处行业的特征以及客户的经济情况等基本信息使用统计分析方法和预测验证法，分析目标客户，提高销售效率。
• 其次了解客户的采购过程，根据客户采购类型，采购性质进行分类分析制定不同的营销策略。
• 最后还可以根据已有的客户特征，进行客户特征分析，客户忠诚分析，客户注意力分析，客户营销分析和客户收益分析。

2.营销分析：

囊括了产品分析，价格分析，渠道分析，广告与促销分析这四类分析。

• 产品分析主要是竞争产品分析，通过对竞争产品的分析制定自身产品策略。
• 价格分析又可以分为成本分析和售价分析，成本分析的目的的降低不必要的成本，售价分析的目的是制定符合市场的价格。
• 渠道分析目的是指对产品的销售渠道进行分析，确定最优的渠道配比。
• 广告与促销则能够结合客户分析，实现销量的提升，利润的增加。

3.社交媒体分析：

以不同社交媒体渠道生成的内容为基础，实现不同社交媒体的用户分析，访问分析，互动分析等。同时，还能为情感和舆情监督提供丰富的资料。

• 用户分析主要是根据用户注册信息，登录平台的时间的和平时发表的内容等用户数据，分析用户个人画像和行为特征。
• 访问分析则是通过平时访问的内容，分析用户的兴趣爱好，进行分析潜在的商业价值。
• 互动分析根据互相关注对象的行为预测该对象未来的某些行为特征。

4.网络安全：

新型的病毒防御系统可使用数据分析技术，建立潜在攻击识别分析模型，检测大量网络活动数据和相应的访问行为，识别可能进行入侵的可疑模式，做到未雨绸缪。

5.设备管理：

通过物联网技术能够收集和分析设备上的数据流，包括连续用电，零部件温度，环境温度和污染物颗粒等无数潜在特征，建立设备管理模型，从而预测设备故障，合理安排预防性的维护，以确保设备正常作业，降低因设备故障带来的安全风险。

6.交通物流分析：

物流是物品从供应地向接受地的实体流动。通过业务系统和GPS定位系统获得数据，对于客户使用数据结构交通状况预测分析模型，有效预测实时路况，物流状况，车流量，客流量和货物吞吐量，进行提前补货，制定库存管理策略。

第二章：Python的基础语句

• 赋值语句：

       a=10;

• 条件语句：

    if condition:

    # code to execute if the condition is true

• for循环：

    python`for item in iterable:

     # code to execute`

• while循环：

    python`while condition:

    # code to execute`

• 打印语句：

    print("Hello, World!")；

• 函数定义：

    def function_name(parameters):

    # code to execute

第三章：表格对象实现统计分析

1.表格对象的数据查询：

• 通过序列对象查询数据：

访问单列：表格名称['序列名称'][索引]

访问多列：表格名称[['序列名称1'，'序列名称2',...]][索引]

• loc方法：

调用语法：表格对象.loc[n，'列名称']

n表示行索引，表示访问第n行

'列名称'表示列索引，表示访问相应的列

• iloc方法：

调用语法：表格对象.iloc[n,m]

n表示行索引，表示访问第n行

m表示列索引，表示访问第m列

• 条件查询即查询满足一定条件的数据（行）
• 一般有两种方法实现条件查询：

1. 表格对象.query（查询条件字符串）
2. 表格对象.loc[条件序列对象+逻辑判断，列索引]

2.表格对象索引重置：

• 表格对象的默认索引为从零开始的连续数字索引
• 当使用条件查询等对部分行数据进行筛选的方法时，会导致新的表格对象的索引不连续
• 索引不连续时，索引n不再表示第n+1行数据
• 所以需要把索引重置为从0开始的连续数字索引

• 3.表格对象索引重置：

• 也可以以某一列数据作为新的索引
• 语法格式：表格对象.set_index(列名称)

4.表格对象索引重置：

• 语法格式：表格对象.reset_index(drop=Flase,inplace=Flase)
• drop参数：接受布尔值，表示是否保留原索引，默认保留

5.表格对象数据的新增：

• 概念：表格对象数据新增一般新增一列
• 思路：将一个序列对象赋值给对象新的一列
• 语法：表格对象['新的列名']=某个序列对象
• 注意：新的列名不能和表格对象中已有的列名重复

6.表格对象数据的删除：

• 概念:表格对象行或列数据的删除
• 语法：表格对象.drop(n,axis=0)

                   参数n表示行或列的索引

                    axis默认为0，表示删除行，axis=1时删除列

7.表格对象数据的修改：

• 思路：先访问，后赋值
• 语法：访问某个元素的代码 = 需要赋予的值
• 注意：赋值需要使用 =，不是 ==，== 是判断符号

第四章：python的数据预处理

Python的数据预处理主要包括数据清洗、数据转换和特征工程等步骤。

以下是一些常用的Python库和工具：

1. Pandas：Pandas是一个强大的数据处理库，可以方便地对数据进行读取、清洗、转换和筛选等操作。
2. NumPy：NumPy是一个用于数值计算的Python库，可以方便地进行数组操作和数学计算。
3. Scikit-learn：Scikit-learn是一个用于机器学习的Python库，提供了许多数据预处理的工具，如特征工程、数据归一化等。
4. IPython：IPython是一个交互式Python环境，可以方便地进行数据分析和可视化，还提供了许多有用的工具和功能，如魔法命令等。
5. Jupyter Notebook：Jupyter Notebook是一个基于Web的交互式笔记本，可以方便地进行数据分析和可视化，还支持Markdown格式的文本编辑和代码执行。