Python数据分析有必要学吗？零基础该怎么入门？

金汤肥牛面.

已于 2024-01-05 16:48:10 修改

阅读量804

点赞数 17

文章标签： python 数据分析开发语言学习爬虫自动化数据挖掘

于 2023-12-18 16:15:21 首次发布

本文链接：https://blog.csdn.net/qq_46094651/article/details/135065157

版权

首先来聊一聊题主关于“Python数据分析有必要学吗？非程序员学了有什么用？”的问题吧~~

毕业之后一直做的数据分析工作近年来公司新入职的非数据分析岗的同事们或多或少对数据分析都是会一些的！数据分析是很有必要学习滴，学习数据分析跟是否是程序员没有太大联系。重要的是现阶段大数据背景下的就业市场 70%的岗位对数据分析能力都具有一定的要求，并不是只有数据分析岗位才要求数据分析能力哦！例如：经营、财务相关岗位。具有数据分析能力有助于提升综合实力，在就业市场中具有更好的机遇哦！！！

其次再来重点说说“0基础该怎么入门数据分析？”的问题！这应该是很多想要转行数据分析师或想要提升自身数据分析能力的小伙伴们最关心的话题吧~~

作为一个多年的数分人，也是从最初的零基础走过来的，小编将从自身多年的数分经验出发，结合数据分析专业技能，汇总了入门数据分析的过程。零基础入门数据分析大概可以分为 四阶段（数据分析思维+数据分析理论+数据分析工具+数据分析实践），下面将从四阶段进行介绍哈~~希望可以帮助到小伙伴们哦_{需要的小伙伴赶紧收藏起来吧}_{需要的时候就可以找到啦}~

1 第一阶段-数据分析思维篇

对于零基础的小伙伴们，从小白到精通的第一阶段，就是培养数据分析思维模式，掌握数据分析逻辑！

数据分析思维是指通过对数据进行收集、整理、处理、清洗、分析、展示，从中挖掘数据规律发现数据发展趋势，从而挖掘出潜在的价值得出结论和建议的一种思维方式。这个过程需要一定的数据分析思维、数据处理能力和数据分析能力，才能够胜任数据分析职位！

常见的数据分析思维包括：信度与效度思维、分类思维、聚类思维、矩阵化思维、漏斗思维、相关思维、逻辑树思维、降维思维、时间序列思维、对比思维、建模思维、闭环思维、指数化思维等等。了解并掌握常见且比较重要的数据分析的思维方法，有利于在数据分析过程更加清晰，可以达到事半功倍的效果，高效的解决实际问题！上面的数据分析思维就不一一介绍啦，下面重点为小伙伴们介绍下聚类思维~~

聚类思维， 基于Silhouette Coefficient系数的K-means聚类。 轮廓系数法（Silhouette Coefficient），在大数据时代背景下，充分利用数据资产挖掘数据当中的潜在价值已经成为很多企业发展的前提，虽然现阶段对于大数据的应用分析有很多机器学习和深度学习等方法，但是统计分析方法是大数据处理的基础理论，在时代发展的过程当中也占据着举足轻重的作用。

本文选取K-means聚类分析方法，对客户价值进行分类，挖掘各个类别之间客户差异化价值，提供较强针对性的个性化服务。但是在聚类分析之前需要对数据进行初步的探索分析，其中最核心的是确定聚类分析的类别个数，有助于后期差异化价值的体现。轮廓系数法在评价聚类效果当中得到广泛的认可，是一种较好的评价方式。

轮廓系数（Silhouette Coefficient）能够评价聚类模型的好坏，其最早是由Peter J`Rousseeuw提出，其主要依据是内聚度和分离度。轮廓系数的计算公式如下：

其中：

从以上计算公式可以看出，轮廓系数的取值范围为[-1,1]，若轮廓系数的值越趋近于1代表内聚度和分离度相对较优，聚类效果较好。而总的轮廓系数就是所有点的轮廓系数的平均值。

聚类分析又称为群分析，是一种对指标或者样本进行分类的多元统计方法，是将数据分类到不同的簇当中，使得同一个簇之间的样本具有较大的相似程度，不同的簇之间相似度较低。从机器学习的层面上分析，聚类是搜索簇的无监督学习过程，其并不依赖带有类别标记的训练集实例，而是需要聚类算法自动标记类别，属于观察式学习范畴。分类技术在不同的领域都有着一定的贡献，用于数据描述、衡量数据源之间的相似性和数据源分类。

聚类分析按照其方法划分可以分为：系统聚类法、动态聚类法、最优分割法、模糊聚类法、图论聚类法和聚类预报法。系统聚类法：起初每个样本各为一类，然后计算各个样本之间的聚类，把最近的两个样本合成一类，合并之后再计算新类与其他类的距离，直到把所有样本归为一类为止，可以运用谱系聚类图来描述并类的过程。动态聚类法：首先对所有样本进行一次初步分类，然后依据分类之后的损失函数的最小化进行不断调整，直到最终的合理分类为止。最优分割法：起初把所有的样本都视为一类，然后依据最优准则将其分为两类，然后再次分类，直到分割到所需的类别个数为止，此方法适用于有序样本的分类。模糊聚类法：根据模糊集理论来处理聚类问题，这种方法对于具有模糊特征的两态或者多态数据具有较好的分类效果。图论聚类法：这种方法主要是依据图论中最小支撑树的概念来处理分类。聚类预报法：主要是通过预报的方法来对预报问题进行分析，与其他的一些统计分析方法相比，对于一些异常数据的处理能力较强，比如对于气象当中的一些灾害性天气的预报，如果运用回归或者判别分析等统计分析方法，其效果不好，然后聚类预报法在这种情况下，就具有较好的预报效果。

最常用的聚类方法为K均值聚类，其算法过程为：选择K个中心点，然后计算每个点距离中心点的距离，把数据点分配到距离最近的中心点；重新计算每一个类别中的点距离该类中心点距离的平均值，分配每个数据到它最近的中心点；重复以上步骤，直至所有的观测点不再被分配或者是达到最大的迭代次数。

2 第二阶段-数据分析理论篇

入门数据分析，在具有数据分析思维模式之后，接下来就需要夯实数据分析理论基础啦！数据分析师，需要对数据分析有一个全方位、多角度、深层次的认识，必须从基础理论出发，为数据分析能力奠定良好的基础。

数据分析需要的基础理论知识包括 统计学类、数学类、机器学习类、可视化类等。其中统计学类在数据分析中占有举足轻重的地位，各大招聘平台岗位要求中的 “统计学类”专业优选就很大程度上证明了这一点哦另外，随着大数据时代的发展机器学习类也越来越受到大家的重视，机器学习在一定程度上推动了人工智能的发展，优化了人们的生活方式。而支持向量机是机器学习中的重中之重，下面重点为小伙伴们介绍下哈

支持向量机理论，超平面分类。 支持向量机是可以用于分类和回归的有监督学习模型。该算法可以在多维空间中找到最优的平面将将样本进行分类，使得各类别之间距离尽可能的大，同个类别以内的样本之间的距离较小，在间距边界上的点则为支持向量，用于分割的超平面位于间距的中间。

在处理分类问题时，需要一个决策边界，这种边界把样本进行分离，线性的决策边界就是分离超平面。面对多个分类超平面，则要寻找最佳的一个，即找到最大边缘超平面，这个平面要与两边类别的样本保持距离，减少泛化误差，保证模型稳健性。

在二维线性可分的情况下，超平面分类示意图如下：
在这里插入图片描述

支持向量是每类中最接近最大边缘超平面的点，每类至少拥有一个支持向量，且可以同时存在多个支持向量。对于支持向量的确定，可以运用向量几何算法。在这种线性可分的情况下，最大边缘超平面要最大限度地远离两组数据外边界，即这些外边界就被称为凸包，而最大边缘超平面就是就是两个凸包之间距离最近点连线的垂直平分线。或者通过空间搜索每一个可能的超平面，找到两个平行平面将数据划分为同类组，但到找到两个平面的最大间隔，使得平面尽可能的远离。对于N维空间而言，对应的最优超平面为N-1维。

核和支持向量机。在线性不可分的情况下，模型需要引进核函数，把原始数据映射到高维空间，高维空间的数据容易变得稀疏，达到线性可分的目的。在任何分类模型中，总是能够找到相应的核函数，把原数据映射到高维空间进行预算，但是维度过高时，可能导致模型出现过拟合现象。所以，在支持向量机模型的建立过程中，选择合适的核函数尤为重要。

核函数主要包括：线性核函数、多项式核函数、径向基核函数等。把核函数定义为一个通用函数K，对向量进行运算，得出一个标量结果。

（1）核函数模型广义化形式为：