数学基础知识
文章平均质量分 90
编程小白的逆袭日记
年近50仍然奋战在一线的软件工程师。25年软件行业从业经验,十多年软件项目经理经验,多年大数据分析团队经理经验。
喜欢数学,喜欢研究算法,喜欢探究,喜欢和志同道合的伙伴们交流。放弃内卷,在坡岛做一个快乐的程序员。
展开
-
[数学基础知识] Cramér‘s V 相关系数和Python算法实现
1. 什么是Cramér’s V 相关系数在统计中,Cramér’s V (又称为Cramér’s phi,表示为φc) 是一个衡量两个分类变量之间关联的度量,它是一个介于0和+1(包括)之间的值, 0表示两个变量无关,1表示完全相关。它是基于Pearson’s chi-squared statistic(皮尔森的卡方统计),由Harald Cramér于1946年发表的。所以在介绍Cramér’s V 相关系数之前,我们先来了解一下皮尔森的卡方统计。2. 皮尔森的卡方统计(Pearson’s c原创 2021-09-25 21:35:02 · 7508 阅读 · 1 评论 -
[数学基础知识] 协方差和相关系数以及使用pandas进行自动计算
在研究两组数据之间的关联性时会用到的一些概念。1. 协方差(Covariance) 和协方差矩阵协方差表示的是两个变量的总体的误差,这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致,也就是说如果其中一个大于自身的期望值,另外一个也大于自身的期望值,那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反,即其中一个大于自身的期望值,另外一个却小于自身的期望值,那么两个变量之间的协方差就是负值。期望值分别为E[X]与E[Y]的两个实随机变量X与Y之间的协方差Cov(X,Y)定义为:原创 2021-09-25 16:24:54 · 2865 阅读 · 0 评论 -
[数学基础知识] 线代里的svd, numpy 的svd以及sklearn的TruncatedSVD
SVD的全称Singular Value Decomposition,中文名是矩阵的奇异分解。它是一种常见的做矩阵降维处理的算法,在图像压缩和NLP算法中经常被用到。本文是我在编程过程中,对于数学中的SVD,numpy的svd方法,以及sklearn中的TruncatedSVD方法在实际应用中的一些理解和体会。线性代数里的SVDA是mxn的实数矩阵, 则A可以分解成以下的形式A=USVTA=USV^TA=USVT ,其中U是mxm的矩阵,S是mxn的对角阵,其主对角线上的每一个值被称为奇异值,V是nx原创 2021-01-18 00:13:04 · 2396 阅读 · 2 评论 -
[算法分析笔记] 动态规划 (Dynamic Programming)- 最长公共子序列(LCS)
在开始讲动态规划之前,我们先来讲一个算法问题的实例,由此引出动态规划的一系列概念。最长公共子序列问题 (LCS)给定两个序列x[1…m]y[1…n]求他们最长公共子序列比如:X:ABCBDABX: A B C B D A BX:ABCBDABY:BDCABAY: B D C A B AY:BDCABA那么他们的最长子序列有 LCS(X,Y)=BDAB,BCAB,BCBALCS(X,Y)={BDAB, BCAB, BCBA}LCS(X,Y)=BDAB,BCAB,BCBA此处注意,最长子序列原创 2020-12-26 23:38:02 · 612 阅读 · 0 评论 -
[算法分析笔记] 竞争分析(Competive Analysis)
竞争分析的定义对于一种在线算法A, 如果存在一个常数K, 对于任何序列S的操作的成本, CA(S)<=α.Copt(S)+KC_A(S)<= \alpha.C_{opt}(S)+KCA(S)<=α.Copt(S)+K, 则我们可以称算法A为α\alphaα - 竞争的,此处,CoptC_{opt}Copt是最优算法的成本,又称上帝算法,假设该算法可以预见所有的后续操作并给出一个最优的算法。为了说明竞争分析的方法,我们要对一个在线算法进行分析,并证明该算法是α\alphaα - 竞原创 2020-12-26 00:18:04 · 1177 阅读 · 0 评论 -
[每日算法15分钟] 生成斐波那契数列第N项
算法分析是我最喜欢的课程之一。一个精妙的算法,犹如一杯香浓的咖啡,让人意犹未尽。算法代码,python。今天分享的这个算法是生成斐波那契数列第N项。斐波那契数列(Fibonacci sequence)F0=0,F1=1,F2=1,...,Fn=Fn−2+Fn−1F_0=0, F_1 = 1, F_2 = 1, ... ,F_n = F_{n-2}+F_{n-1}F0=0,F1=1,F2=1,...,Fn=Fn−2+Fn−1写一个方法def fibonacci(n) 生成FnF_nFn原创 2020-05-19 22:05:01 · 728 阅读 · 1 评论 -
使用EXCEL快速实现二参数威布尔分布拟合
最近我在公司里做了一个小项目,帮助产品部门建立一个数据模型来预测产品的维修率和返修成本,其中有一步需要估计二参数威布尔分布的参数。在网上看了一些论文,威布尔参数估计的方法有很多种,比如常见的有极大似然估计法,最大相关系数优化法,最小二乘法等等。 因为考虑我目前仅是做模型验证,因此我采用了计算量相对比较小的最小二乘法进行估算,并在EXCEL里利用趋势图直接获得相关参数。先来介绍一下威布尔分布(We...原创 2019-12-23 16:35:01 · 20328 阅读 · 7 评论 -
数学基础知识系列 - 点到超平面的距离
假设有点x0=(x01,x02,...x0m)x_0 = (x_0^1,x_0^2,...x_0^m)x0=(x01,x02,...x0m)不在超平面y=wx∗by=wx*by=wx∗b上,其中w=(w1,w2,...wm)w = (w^1,w^2,...w^m)w=(w1,w2,...wm),求x0x_0x0到y=wx∗by=wx*by=wx∗b的距离。步骤一:证明www为超平面y=...原创 2019-04-06 16:43:04 · 2205 阅读 · 0 评论