既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
我的主页：晴天qt01的博客_CSDN博客-数据分析师领域博主
目前进度：第四部分【机器学习算法】
聚类分析
聚类的概念
聚类是一个非监督式的学习，只要有输入变量就可以，目标的获得就是通过输入变量把相似的集中在一群。没有事先分好类的数据来监督。简单来讲就是没有目标变量
它就是通过将相似的数据聚合到一起的处理
同一群的成员的相似性要越高越好，不同集群间的数据相异性要越高越好。
案例：
这是之前举了一个例子，如果你要对银行中的数据进行顾客分群的处理，该如何做。
这个数据是通过年龄和收入对客户进行聚类的动作，一个资料点代表一个客户，我们可以发现比较密集集中的就会形成一个客户群，我们已经分别标出了
我们可以通过这些群对应输入字段的平均值来了解该群体的特点。
比如第一个群体，它的年龄属于中上游，收入最低
第二个群体年级相对较高，收入较高
第三个群体年级相对较小，收入也是偏高
将输入字段的相似记录合并起来。
案例2
聚类分析虽然没有目标变量，但是你的思想，内心要有目标。要求根据分析者的目标来进行分群。比如现在我希望你对下面的弹珠进行聚类分析：
它的分类方法其实很多，但是我们只能选择一种分类规则来进行分类，所以我们会根据心里的想法对它进行分类。
比如我们根据颜色进行分类
那么我们就可以吧颜色分为5个群。Color就是我们心中的目标。
再比如我们选择根据大小对它进行分类
我们可能就分为3群，大弹珠，中弹珠，小弹珠。
再比如，我们可以根据弹珠的透明度来分。
就可以分为2群
再比如，我们根据弹珠的花纹复杂程度来划分，就可以分为3群
我们就可以把它们分为3种，一种无花纹，一种不规则花纹，一种规则花纹。
所以聚类分析虽然是无监督模型，但是你心中要有模型。使用者需要什么结果，他就会产生什么样的变量。
聚类分析的重点有3：
1.我们如何用数字来表示成员间的相似性（或相异性）？
因为我们需要将他们根据这个特点来进行聚类
2.如何根据相似性将类似的成员分在同一群（算法的选择）
3.怎么去描述各群的特征。
实现我们解决第一个问题
如何衡量两笔数据的相似性
这里有n笔记录，p个字段。这个一般就是我们的数据。接下来我们需要计算它们之间彼此的距离，这里使用的是pairwise的距离，下表是两两一对的距离矩阵。
自己和自己的距离一定是0，说明相似性为百分百，距离越小，相似性越大。所以我们只需要看上三角或者下三角就可以。
距离矩阵的每个距离我们要如何计算?X下面用3种方式进行说明。
二元变量的相似性的衡量方法
这里用的是二变量的两个比较常用的公式，这种二元变量通常使用在推荐系统，有还是没有，有代表顾客对这个商品感兴趣，没有代表顾客对这个商品不感兴趣。这些都是属于二元变量。
在顾客中推荐购买这两种商品的相似度的时候经常用这两个公式。
它们是如何去计算的呢，首先它们需要产生上面的交叉表。Contingency table。需要两个对象i和j我们要看i和j的相似度。
q是代表两个字段都是1的个数，r+s代表一个是1，一个是0的个数（就是二者不相同的个数），tdaib都是0的个数
总共有几笔记录数就是q+r+s+t
我们第一个方法simple Matching coefficient简单比对技术，就是不相同的个数除以总共有几笔数据
第二种方法jaccard和simple Matching coefficient的区别就在于分母，它把分母中t（二者都是0）的情况除去了。分母变为q+r+s
一般第二种方法使用在电商产品，我和你都没购买这个商品，那么能说明这两个商品相似吗，当然不行，可能我们都不知道这个商品。说不定我们知道了就会买
举个案例：
我们现在有3个病人，我们有病人的病症以及做的一些检验。后面的数据代表是否有这个病症。Test中的P代表它是否有这种阳性反应。写N代表阴性反应。
比如我们选择要计算jack和mary的的距离（相异性），Jack的值有可能Y有可能N，mary也有可能N有可能Y
我们画出他们的交叉表，第一个病症都是Y，那么q就加一，两个都是N，那么s加一…….以此类推。
总共有6个字段。不一致的部分是有一个test3.就不一致的部分一共是1，这里的分母采用的是除去都是N的情况，因为都是N可能他们都没去做测试，所以都是N，只是我们不了解具体情况，也有可能检测了就是阳性。我们也不懂。所以我们就把NN的情况排除在外。总数就是2+0+1
1/3来作为jack和mary的距离。其实蛮简单的。
那我们再举一个例子。Mary和jim的例子，它有Y和N，我们发现都是Y的有1个，q=1，两个不一致的有3个，都是N的有2个。
所以他的距离就是3/4.
所以我们认为jim和mary最不可能得到一样的疾病而jack和mary最可能得一样的疾病。
混合类别型变量与数值型变量的的相似性衡量
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
t-1715369552957)]
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
