PCA和LDA大实践（源码及原理），java多线程面试题总结

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注Java）

正文

如何选择基才是最优的。或者说，如果我们有一组N维向量，现在要将其降到R维，那么我们应该如何选择R个基才能最大程度保留原有的信息？

对于一个二维空间：要在二维平面中选择一个方向，将所有数据都投影到这个方向所在直线上，用投影值表示原始记录。这是一个实际的二维降到一维的问题。那么如何选择这个方向才能尽量保留最多的原始信息呢？一种直观的看法是：希望投影后的投影值尽可能分散，而这种分散程度，可以用数学上的方差来表述。

对于上面二维降成一维的问题来说，找到那个使得方差最大的方向就可以了。不过对于更高维，还有一个问题需要解决。考虑三维降到二维问题，与之前相同，首先我们希望找到一个方向使得投影后方差最大，这样就完成了第一个方向的选择，继而我们选择第二个投影方向。如果我们还是单纯只选择方差最大的方向，很明显，这个方向与第一个方向应该是“几乎重合在一起”，显然这样的维度是没有用的，因此，应该有其他约束条件。从直观上说，让两个不同维度尽可能表示更多的原始信息，我们是不希望它们之间存在（线性）相关性的，因为相关性意味着两个维度不是完全线性独立，必然存在重复表示的信息。

数学上用协方差表示两个维度的相关性，当协方差为0时，表示两个维度完全独立。为了让协方差为0，我们选择第二个基时只能在与第一个基正交的方向上选择，因此最终选择的两个方向一定是正交的。

降维问题的优化目标：将一组N维向量降为R维，其目标是选择R个单位正交基，使得原始数据变换到这组基上后，各维度两两间的协方差为0，而每个维度的方差则尽可能大（在正交的约束下，取最大的R个方差）。

协方差矩阵

上面推导出优化目标，那么具体该怎么实现呢，下面就用到了协方差矩阵。回顾一下，协方差矩阵的每个元素是各个向量元素之间的协方差，特殊的，矩阵对角线上的元素分别是各个向量的方差。

设原始矩阵为X(N×M)，表示M个N维向量，其协方差矩阵为C(N×N)；P(R×N)为变换矩阵；Y(R×M)为目标矩阵, 其协方差矩阵为D。我们要求降维后的矩阵Y的每一维包含的数据足够分散，也就是每一行（维）方差足够大，而且要求行之间的元素线性无关，也就是要求行之间的协方差全部为0，这就要求协方差矩阵D的对角线元素足够大，除对角线外元素都为0。 相当于对C进行协方差矩阵对角化。

具体推导如下：

D=1MYY′=1MPXX′P′=PCP′D=1MYY′=1MPXX′P′=PCP′

C是X的协方差矩阵，是实对称矩阵，整个PCA降维过程其实就是一个实对称矩阵对角化的过程。

PCA具体算法步骤

设有M个N维数据:

1. 将原始数据按列组成N行M列矩阵X

2. 将X的每一行进行零均值化，即减去每一行的均值

3. 求出X的协方差矩阵C

4. 求出协方差矩阵C的特征值及对应的特征向量，C的特征值就是Y的每维元素的方差，也是D的对角线元素，从大到小沿对角线排列构成D。

5. 将特征向量按对应特征值大小从上到下按行排列成矩阵，根据实际业务场景，取前R行组成矩阵P

6. Y=PX即为降到R维后的目标矩阵

Scikit-learn PCA实例分析

---

Scikit-learn是Python下著名的机器学习库，关于它我在这里就不多做介绍了，反正很好很强大。

首先数据选用经典的手写字符数据。

from sklearn import datasets

digits = datasets.load_digits()

x = digits.data                                              #输入数据

y = digits.target                                            #输出数据

PCA的调用也很简单

from sklearn import decomposition

pca = decomposition.PCA()

pca.fit(x)

可视化，matplotlib是Python下的绘图库，功能也是十分强大。

import matplotlib.pyplot as plt

plt.figure()

plt.plot(pca.explained_variance_, ‘k’, linewidth=2)

plt.xlabel(‘n_components’, fontsize=16)

plt.ylabel(‘explained_variance_’, fontsize=16)

plt.show()

pca.explained_variance_ 就是上面协方差矩阵D的对角线元素，如下图所示：

至于到底降到多少维度，主要取决于方差，具体的方法可以采用交叉验证。

实现PCA算法

---

-- coding: utf-8 --

“”"

​作者：lds

利用Numpy,Pandas和Matplotlib实现PCA,并可视化结果

“”"

​

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

from sklearn import datasets

​

class DimensionValueError(ValueError):

“”“定义异常类”“”

pass

​

class PCA(object):

“”“定义PCA类”“”

def init(self, x, n_components=None):

“”“x的数据结构应为ndarray”“”

self.x = x

self.dimension = x.shape[1]

if n_components and n_components >= self.dimension:

raise DimensionValueError(“n_components error”)

self.n_components = n_components

def cov(self):

“”“求x的协方差矩阵”“”

x_T = np.transpose(self.x)                           #矩阵转秩

x_cov = np.cov(x_T)                                  #协方差矩阵

return x_cov

def get_feature(self):

“”“求协方差矩阵C的特征值和特征向量”“”

x_cov = self.cov()

a, b = np.linalg.eig(x_cov)

m = a.shape[0]

c = np.hstack((a.reshape((m,1)), b))

c_df = pd.DataFrame©

c_df_sort = c_df.sort(columns=0, ascending=False)    #按照特征值大小降序排列特征向量

return c_df_sort

def explained_varience_(self):

c_df_sort = self.get_feature()

return c_df_sort.values[:, 0]

def paint_varience_(self):

explained_variance_ = self.explained_varience_()

plt.figure()

plt.plot(explained_variance_, ‘k’)

plt.xlabel(‘n_components’, fontsize=16)

plt.ylabel(‘explained_variance_’, fontsize=16)

plt.show()

def reduce_dimension(self):

“”“指定维度降维和根据方差贡献率自动降维”“”

c_df_sort = self.get_feature()

varience = self.explained_varience_()

if self.n_components:                                #指定降维维度

p = c_df_sort.values[0:self.n_components, 1:]

y = np.dot(p, np.transpose(self.x))              #矩阵叉乘

return np.transpose(y)

varience_sum = sum(varience)                         #利用方差贡献度自动选择降维维度

varience_radio = varience / varience_sum

varience_contribution = 0

for R in xrange(self.dimension):

varience_contribution += varience_radio[R]       #前R个方差贡献度之和

if varience_contribution >= 0.99:

break

p = c_df_sort.values[0:R+1, 1:]                      #取前R个特征向量

y = np.dot(p, np.transpose(self.x))                  #矩阵叉乘

return np.transpose(y)

digits = datasets.load_digits()

x = digits.data

y = digits.target

​

if name == ‘main’:

pca = PCA(x)

y = pca.reduce_dimension()

注意：

---

根据上面对PCA的数学原理的解释，我们可以了解到一些PCA的能力和限制。PCA本质上是将方差最大的方向作为主要特征，并且在各个正交方向上将数据“离相关”，也就是让它们在不同正交方向上没有相关性。

因此，PCA也存在一些限制，例如它可以很好的解除线性相关，但是对于高阶相关性就没有办法了，对于存在高阶相关性的数据，可以考虑Kernel PCA，通过Kernel函数将非线性相关转为线性相关，关于这点就不展开讨论了。另外，PCA假设数据各主特征是分布在正交方向上，如果在非正交方向上存在几个方差较大的方向，PCA的效果就大打折扣了。

最后需要说明的是，PCA是一种无参数技术，也就是说面对同样的数据，如果不考虑清洗，谁来做结果都一样，没有主观参数的介入，所以PCA便于通用实现，但是本身无法个性化的优化。

希望这篇文章能帮助朋友们了解PCA的数学理论基础和实现原理，借此了解PCA的适用场景和限制，从而更好的使用这个算法。

线性判别分析Linear Discriminant Analysis—LDA

========================================

PCA追求的是在降维之后能够最大化保持数据的内在信息，并通过衡量在投影方向上的数据方差的大小来衡量该方向的重要性。 PCA优缺点： 优点：

1.最小误差

2.提取了主要信息 缺点：

Spring全套教学资料

Spring是Java程序员的《葵花宝典》，其中提供的各种大招，能简化我们的开发，大大提升开发效率！目前99%的公司使用了Spring，大家可以去各大招聘网站看一下，Spring算是必备技能，所以一定要掌握。

目录：

部分内容：

Spring源码

• 第一部分 Spring 概述
• 第二部分 核心思想
• 第三部分 手写实现 IoC 和 AOP（自定义Spring框架）
• 第四部分 Spring IOC 高级应用
  基础特性
  高级特性
• 第五部分 Spring IOC源码深度剖析
  设计优雅
  设计模式
  注意：原则、方法和技巧
• 第六部分 Spring AOP 应用
  声明事务控制
• 第七部分 Spring AOP源码深度剖析
  必要的笔记、必要的图、通俗易懂的语言化解知识难点

脚手框架：SpringBoot技术

它的目标是简化Spring应用和服务的创建、开发与部署，简化了配置文件，使用嵌入式web服务器，含有诸多开箱即用的微服务功能，可以和spring cloud联合部署。

Spring Boot的核心思想是约定大于配置，应用只需要很少的配置即可，简化了应用开发模式。

• SpringBoot入门
• 配置文件
• 日志
• Web开发
• Docker
• SpringBoot与数据访问
• 启动配置原理
• 自定义starter

微服务架构：Spring Cloud Alibaba

同 Spring Cloud 一样，Spring Cloud Alibaba 也是一套微服务解决方案，包含开发分布式应用微服务的必需组件，方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来开发分布式应用服务。

• 微服务架构介绍
• Spring Cloud Alibaba介绍
• 微服务环境搭建
• 服务治理
• 服务容错
• 服务网关
• 链路追踪
• ZipKin集成及数据持久化
• 消息驱动
• 短信服务
• Nacos Confifig—服务配置
• Seata—分布式事务
• Dubbo—rpc通信

Spring MVC

目录：

部分内容：

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注Java）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

目录：

[外链图片转存中…(img-qv5zSLkl-1713644538568)]

[外链图片转存中…(img-KwApYlxg-1713644538568)]

[外链图片转存中…(img-3zw61Xjb-1713644538569)]

部分内容：

[外链图片转存中…(img-jJztpxH2-1713644538569)]

[外链图片转存中…(img-zwRy0iSJ-1713644538570)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注Java）
[外链图片转存中…(img-70gdk6Sq-1713644538570)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！