先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上Java开发知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip1024b (备注Java)
正文
如何选择基才是最优的。或者说,如果我们有一组N维向量,现在要将其降到R维,那么我们应该如何选择R个基才能最大程度保留原有的信息?
对于一个二维空间:要在二维平面中选择一个方向,将所有数据都投影到这个方向所在直线上,用投影值表示原始记录。这是一个实际的二维降到一维的问题。那么如何选择这个方向才能尽量保留最多的原始信息呢?一种直观的看法是:希望投影后的投影值尽可能分散,而这种分散程度,可以用数学上的方差来表述。
对于上面二维降成一维的问题来说,找到那个使得方差最大的方向就可以了。不过对于更高维,还有一个问题需要解决。考虑三维降到二维问题,与之前相同,首先我们希望找到一个方向使得投影后方差最大,这样就完成了第一个方向的选择,继而我们选择第二个投影方向。如果我们还是单纯只选择方差最大的方向,很明显,这个方向与第一个方向应该是“几乎重合在一起”,显然这样的维度是没有用的,因此,应该有其他约束条件。从直观上说,让两个不同维度尽可能表示更多的原始信息,我们是不希望它们之间存在(线性)相关性的,因为相关性意味着两个维度不是完全线性独立,必然存在重复表示的信息。
数学上用协方差表示两个维度的相关性,当协方差为0时,表示两个维度完全独立。为了让协方差为0,我们选择第二个基时只能在与第一个基正交的方向上选择,因此最终选择的两个方向一定是正交的。
降维问题的优化目标:将一组N维向量降为R维,其目标是选择R个单位正交基,使得原始数据变换到这组基上后,各维度两两间的协方差为0,而每个维度的方差则尽可能大(在正交的约束下,取最大的R个方差)。
协方差矩阵
上面推导出优化目标,那么具体该怎么实现呢,下面就用到了协方差矩阵。回顾一下,协方差矩阵的每个元素是各个向量元素之间的协方差,特殊的,矩阵对角线上的元素分别是各个向量的方差。
设原始矩阵为X(N×M),表示M个N维向量,其协方差矩阵为C(N×N);P(R×N)为变换矩阵;Y(R×M)为目标矩阵, 其协方差矩阵为D。我们要求降维后的矩阵Y的每一维包含的数据足够分散,也就是每一行(维)方差足够大,而且要求行之间的元素线性无关,也就是要求行之间的协方差全部为0,这就要求协方差矩阵D的对角线元素足够大,除对角线外元素都为0。 相当于对C进行协方差矩阵对角化。
具体推导如下:
D=1MYY′=1MPXX′P′=PCP′D=1MYY′=1MPXX′P′=PCP′
C是X的协方差矩阵,是实对称矩阵,整个PCA降维过程其实就是一个实对称矩阵对角化的过程。
PCA具体算法步骤
设有M个N维数据:
-
将原始数据按列组成N行M列矩阵X
-
将X的每一行进行零均值化,即减去每一行的均值
-
求出X的协方差矩阵C
-
求出协方差矩阵C的特征值及对应的特征向量,C的特征值就是Y的每维元素的方差,也是D的对角线元素,从大到小沿对角线排列构成D。
-
将特征向量按对应特征值大小从上到下按行排列成矩阵,根据实际业务场景,取前R行组成矩阵P
-
Y=PX即为降到R维后的目标矩阵
Scikit-learn PCA实例分析
Scikit-learn是Python下著名的机器学习库,关于它我在这里就不多做介绍了,反正很好很强大。
首先数据选用经典的手写字符数据。
from sklearn import datasets
digits = datasets.load_digits()
x = digits.data #输入数据
y = digits.target #输出数据
PCA的调用也很简单
from sklearn import decomposition
pca = decomposition.PCA()
pca.fit(x)
可视化,matplotlib是Python下的绘图库,功能也是十分强大。
import matplotlib.pyplot as plt
plt.figure()
plt.plot(pca.explained_variance_, ‘k’, linewidth=2)
plt.xlabel(‘n_components’, fontsize=16)
plt.ylabel(‘explained_variance_’, fontsize=16)
plt.show()
pca.explained_variance_ 就是上面协方差矩阵D的对角线元素,如下图所示:
至于到底降到多少维度,主要取决于方差,具体的方法可以采用交叉验证。
实现PCA算法
-- coding: utf-8 --
“”"
作者:lds
利用Numpy,Pandas和Matplotlib实现PCA,并可视化结果
“”"
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn import datasets
class DimensionValueError(ValueError):
“”“定义异常类”“”
pass
class PCA(object):
“”“定义PCA类”“”
def init(self, x, n_components=None):
“”“x的数据结构应为ndarray”“”
self.x = x
self.dimension = x.shape[1]
if n_components and n_components >= self.dimension:
raise DimensionValueError(“n_components error”)
self.n_components = n_components
def cov(self):
“”“求x的协方差矩阵”“”
x_T = np.transpose(self.x) #矩阵转秩
x_cov = np.cov(x_T) #协方差矩阵
return x_cov
def get_feature(self):
“”“求协方差矩阵C的特征值和特征向量”“”
x_cov = self.cov()
a, b = np.linalg.eig(x_cov)
m = a.shape[0]
c = np.hstack((a.reshape((m,1)), b))
c_df = pd.DataFrame©
c_df_sort = c_df.sort(columns=0, ascending=False) #按照特征值大小降序排列特征向量
return c_df_sort
def explained_varience_(self):
c_df_sort = self.get_feature()
return c_df_sort.values[:, 0]
def paint_varience_(self):
explained_variance_ = self.explained_varience_()
plt.figure()
plt.plot(explained_variance_, ‘k’)
plt.xlabel(‘n_components’, fontsize=16)
plt.ylabel(‘explained_variance_’, fontsize=16)
plt.show()
def reduce_dimension(self):
“”“指定维度降维和根据方差贡献率自动降维”“”
c_df_sort = self.get_feature()
varience = self.explained_varience_()
if self.n_components: #指定降维维度
p = c_df_sort.values[0:self.n_components, 1:]
y = np.dot(p, np.transpose(self.x)) #矩阵叉乘
return np.transpose(y)
varience_sum = sum(varience) #利用方差贡献度自动选择降维维度
varience_radio = varience / varience_sum
varience_contribution = 0
for R in xrange(self.dimension):
varience_contribution += varience_radio[R] #前R个方差贡献度之和
if varience_contribution >= 0.99:
break
p = c_df_sort.values[0:R+1, 1:] #取前R个特征向量
y = np.dot(p, np.transpose(self.x)) #矩阵叉乘
return np.transpose(y)
digits = datasets.load_digits()
x = digits.data
y = digits.target
if name == ‘main’:
pca = PCA(x)
y = pca.reduce_dimension()
注意:
根据上面对PCA的数学原理的解释,我们可以了解到一些PCA的能力和限制。PCA本质上是将方差最大的方向作为主要特征,并且在各个正交方向上将数据“离相关”,也就是让它们在不同正交方向上没有相关性。
因此,PCA也存在一些限制,例如它可以很好的解除线性相关,但是对于高阶相关性就没有办法了,对于存在高阶相关性的数据,可以考虑Kernel PCA,通过Kernel函数将非线性相关转为线性相关,关于这点就不展开讨论了。另外,PCA假设数据各主特征是分布在正交方向上,如果在非正交方向上存在几个方差较大的方向,PCA的效果就大打折扣了。
最后需要说明的是,PCA是一种无参数技术,也就是说面对同样的数据,如果不考虑清洗,谁来做结果都一样,没有主观参数的介入,所以PCA便于通用实现,但是本身无法个性化的优化。
希望这篇文章能帮助朋友们了解PCA的数学理论基础和实现原理,借此了解PCA的适用场景和限制,从而更好的使用这个算法。
线性判别分析Linear Discriminant Analysis—LDA
========================================
PCA追求的是在降维之后能够最大化保持数据的内在信息,并通过衡量在投影方向上的数据方差的大小来衡量该方向的重要性。 PCA优缺点: 优点:
1.最小误差
2.提取了主要信息 缺点:
Spring全套教学资料
Spring是Java程序员的《葵花宝典》,其中提供的各种大招,能简化我们的开发,大大提升开发效率!目前99%的公司使用了Spring,大家可以去各大招聘网站看一下,Spring算是必备技能,所以一定要掌握。
目录:
部分内容:
Spring源码
- 第一部分 Spring 概述
- 第二部分 核心思想
- 第三部分 手写实现 IoC 和 AOP(自定义Spring框架)
- 第四部分 Spring IOC 高级应用
基础特性
高级特性 - 第五部分 Spring IOC源码深度剖析
设计优雅
设计模式
注意:原则、方法和技巧 - 第六部分 Spring AOP 应用
声明事务控制 - 第七部分 Spring AOP源码深度剖析
必要的笔记、必要的图、通俗易懂的语言化解知识难点
脚手框架:SpringBoot技术
它的目标是简化Spring应用和服务的创建、开发与部署,简化了配置文件,使用嵌入式web服务器,含有诸多开箱即用的微服务功能,可以和spring cloud联合部署。
Spring Boot的核心思想是约定大于配置,应用只需要很少的配置即可,简化了应用开发模式。
- SpringBoot入门
- 配置文件
- 日志
- Web开发
- Docker
- SpringBoot与数据访问
- 启动配置原理
- 自定义starter
微服务架构:Spring Cloud Alibaba
同 Spring Cloud 一样,Spring Cloud Alibaba 也是一套微服务解决方案,包含开发分布式应用微服务的必需组件,方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来开发分布式应用服务。
- 微服务架构介绍
- Spring Cloud Alibaba介绍
- 微服务环境搭建
- 服务治理
- 服务容错
- 服务网关
- 链路追踪
- ZipKin集成及数据持久化
- 消息驱动
- 短信服务
- Nacos Confifig—服务配置
- Seata—分布式事务
- Dubbo—rpc通信
Spring MVC
目录:
部分内容:
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注Java)
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
目录:
[外链图片转存中…(img-qv5zSLkl-1713644538568)]
[外链图片转存中…(img-KwApYlxg-1713644538568)]
[外链图片转存中…(img-3zw61Xjb-1713644538569)]
部分内容:
[外链图片转存中…(img-jJztpxH2-1713644538569)]
[外链图片转存中…(img-zwRy0iSJ-1713644538570)]
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注Java)
[外链图片转存中…(img-70gdk6Sq-1713644538570)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!