- 博客(20)
- 收藏
- 关注
RSS订阅原创 李群学习：李群李代数概念
李群： 既是n维微分流形，又是一个群。要求群运算μ:G×G→G\mu:G \times G\rightarrow Gμ:G×G→G是c∞c^{\infty}c∞的。李群同构：映射μ:G→G′\mu:G\rightarrow G'μ:G→G′既是群同构,又是微分同胚,μ\muμ是微分同胚，还满足：μ(gh)=μ(g)μ(h)\mu(gh)=\mu(g)\mu(h)μ(gh)=μ(g)μ(h)。李...
2019-12-10 22:32:21
1753
原创 卫星轨道总结
闲来无事，翻了翻二体问题，系统性总结下。简单设定卫星质量为单位质量m=1，中心天体质量为 MMM，卫星轨道在一个在一个平面上，轨道曲线可以表示为：r(t)⃗=ρ(θ(t))cos(θ(t))e⃗1+ρ(θ(t))sin(θ(t))e⃗2(1)\vec{r(t)}=\rho(\theta(t))\cos(\theta(t))\vec e_1+\rho(\theta(t))\sin(\th...
2019-07-15 20:57:44
1669
原创 概率统计：围观高斯分布
高斯分布，又称正态分布，服从高斯分布的噪音叫白噪音，在概率论、数理统计中的地位大概是最重要的，没有之一。看名字就牛得不得了，用数学王子高斯命名，又称“正态”，“正”字也是牛得不得了的名字。概率中，最有名的两类定理，一个叫大数定理，另一个叫中心极限定理，中心极限就是正态分布，看看用词，叫“中心”。 高斯分布这么牛，为什么？怎么发现的，又有那些独特性质，来围观一下。一 发现高斯分布事实上，在...
2018-06-01 20:44:14
1873
1
原创 机器学习，最优化数值计算常用算法
一 机器学习表示及数值求解原理大部分机器学习，尤其是神经网络、深度网络，最优化一个经验损失函数（通常带有正则项），损失函数在某个样本点可表示为：L(β⃗ ,X(i))L(β→,X(i)) L(\vec\beta, X^{(i)}),在训练样本上的期望损失函数表示为L(β⃗ )=1n∑ni=0L(β⃗ ,X(i))L(β→)=1n∑i
2018-05-27 00:13:57
2754
原创 机器学习 --超参数调优
机器学习中，绝大部分模型没有解析解，需要采用梯度下降法求解最有参数，各种各样的梯度下降法都会遇到一个问题，就是如何设置学习率，是一个技术活，更是一个运气活。一 学习率参数调优的原理超参数调优，经常会遇到两个问题： 1、 模型发散，参数随着迭代数值绝对值越来越大，甚至发散到无穷，从损失函数来看，误差也会越来越大。 2、 震荡，从损失函数来看，误差出现震荡，模型在局部最优解附近徘徊。...
2018-05-13 04:08:39
5475
原创 岭回归与Moore逆矩阵
回归分析是机器学习里面基本的算法，最小二乘估计，岭回归与矩阵的Moore有着内在联系。为方便说明，假定设计矩阵（高维样本的自变量样本值矩阵，也称自变量）为X∈Rn∗pX∈Rn∗pX\in R^{n*p},因变量为Y∈Rn∗1Y∈Rn∗1Y\in R^{n*1}，其线性回归模型为Y=X∗β,b∈RpY=X∗β,b∈RpY=X*\beta,b\in R^{p}.一 最小二乘估计最小二乘估...
2018-05-12 06:49:51
915
原创 狭义相对论的时空几何 --闽科夫斯基时空
前面我们讨论得到了狭义相对论的的洛伦兹变换。在此基础上介绍狭义相对论的背景时空。一 狭义相对论的时空简单运算就会知道狭义相对论的时空不是欧几里得时空,根据洛伦兹变换有： t2+s2=(tx)(tx)=(sy)11−v2−−−−−√(1vv1)11−v2−−−−−√(1vv1)(sy)=1+v21−v2(s2+y2)≠s2+y2\begin{array}{left}t^2+s^2 &=
2018-04-30 05:45:23
2295
原创 数理统计：极大似然估计与EM算法
极大似然估计（MLE）是统计学习，机器学习中常用的参数估计方法。当然有时候MLE会碰到复杂情况，比如比如数据不完整的时候，或者参数没有闭合解且情况特别复杂时，这时不直接求MLE，而采用确保收敛到MLE的办法，也就是期望极大化准则（EM准则），俗称EM算法。一 极大似然估计（MLE）  ...
2018-03-24 01:42:37
1757
原创 详解非对称加密算法RSA
非对称加密算法，是指加密秘钥与解密秘钥不同的一类加密算法。目前应用最为广泛的是RSA加密算法。RSA算法运用到的知识比较简单，下文详细介绍RSA加密算法原理。费马小定理给定一个素数nnn,对于任意的整数qqq,若(p,n)=1(p,n)=1(p,n)=1则有q(n−1)=1(modn)q(n−1)=1(modn)q^{(n-1)}=1 (mod \; n) 证明费马小定理网上很多，...
2018-03-11 03:18:32
873
原创 五、 统计学习理论：无界实损失函数上的大数定理
前一篇文章，介绍了有界实损失函数下的机器学习ERP原则一致性的充分条件，从无限指示损失函数集推广到了有界实损失函数集。 本文将介绍实无界损失函数集上的一致收敛的条件；同前文,无界实损失函数集记为:{Q(x;θ)|θ∈Λ}\{Q(x;\theta)|\theta \in \Lambda\} 。 记： R(θ)=∫RmQ(x,θ)dF(x)R(\theta)=\int_{R^m}Q(x,\thet
2017-12-03 19:41:38
323
原创 四、统计学习理论：有界实损失函数上的大数定理
前一篇文章，介绍了指示损失函数下的机器学习ERP原则一致性的充分条件，从有限指示损失函数集推广到了无限的指示损失函数集。 本文将介绍有界实损失函数集上的一致收敛的条件。 为了区别将前文中的损失函数集记为:{Q(x;θ)|θ∈Λ}\{Q(x;\theta)|\theta \in \Lambda\} 。 记： R(θ)=∫Q(x,θ)dF(x)R(\theta)=\int Q(x,\theta)
2017-12-02 23:16:37
457
1
原创 三、统计学习理论：指示损失函数上的大数定理
前面的文章介绍了统计学习的一般模型，并且介绍了关键定理，关键定理中ERP原则一致性与经验风险期望风险的单边收敛是等价的。双边一致收敛比单边一致收敛更严格，后面将介绍双边一致收敛的证明，最后回到单边收敛。笔者在阅读统计学习理论的时候，充分领略到了Vapnik大师深厚的分析学功底，阅读这种长篇分析学公式是非常困难的，所以本人在想，能不能让证明更加简单点？但是这也不是一个容易的工作。本文将介绍指示函数集上
2017-11-04 00:26:54
479
原创 二、机器学习理论起点 ,模型及关键定理
考察一下极大似然估计，这是数理统计里面经典的参数估计模型。 设有样本（xi,yi,i=1..n）（ x_i,y_i,i=1..n）,假设模型为y=wx+b+ε,ε∼N(0,σ2)y=wx+b+\varepsilon,\varepsilon \sim N(0,\sigma^2)。要估计参数w,bw,b 把模型改变一下就有：ε=y−wx−b=f(y,x;w,b)∼N(0,σ2)\varepsi
2017-10-31 21:22:01
316
原创 一 统计学习理论前奏：大数定理的发展脉络
大数定理是概率论中的一个很重要的结论，大意是说如果随机变量相互独立且服从相同的分布，那么对随机变量进行抽样，样本的均值必然越来越接近于随机变量的均值。这个定理是整个统计学中抽样调查理论的根基。 大数定理版本非常之多，本文主要讲述其发展证明的一个脉络，在一个特殊条件下被证明的定理，通常弱化条件或者加强结论是改进这个定理的两个方向。弱化条件可以扩大适用范围，而加强结论可能产生新的数学分支。
2017-10-30 19:15:13
1096
原创 狭义相对论的洛伦兹变换几何推导
考虑时空中的一条直线，选定一个原点，代表AB两点在时空中重叠事件。A，B两点相对以速度u相对匀速运动。该运动的时空图可以用二维仿射空间表示，对任意质点建立自己在时空中建立仿射坐标系。下面分别建立分别相对A静止的和相对BB静止的两个坐标，分别记为A系和B系，A系和B系同一时空中的两个不同坐标系。本文分别讨论两个坐标系中，A的世界线、B的世界线和光子的世界线，以求得坐标变换式。
2017-10-23 20:50:20
9738
原创 四 大数据分析之 SVD理论
SVD的数学模型SVD与PCA的关系SVD与对应分析的相识性SVD之缺失值估计SVD与协同过滤算法SVD分解R实现SVD分解MLlib 实现SVD缺失值估计
2017-09-23 00:40:16
1215
原创 三 机器学习之主成份分析
主成分分析是多远统计分析的一种方法，主要用于降低数据维度，减少噪音。 数据降维技术主要有主成分分析和因子分析。一 主成分分析模型介绍1.1 数学模型 设有样本数据X=(xij)n∗p;i=1...p,j=1...n，∀xij∈RX=(x_{ij})_{n*p}; i=1...p,j=1...n ，\forall{x_{ij}}\in \mathbb R ; nn为样本数，pp是样本的观察指标
2017-09-20 20:22:26
344
原创 二 Spark机器学习MLlib： LogisticRegression
一 MLlib简单介绍MLllib目前分为两个代码包： spark.mllib 包含基于RDD的原始算法API。 spark.ml 则提供了基于DataFrames 高层次的API，可以用来构建机器学习管道。本文用基于DataFrame的API，DataFrame结构与MySQL表基本一致，处理数据比较方便。 基于DataFrame的API,包名为：org.apache.spark.
2017-09-19 23:39:16
885
原创 一 eclipse Spark 本地开发调试环境
一 配置JDK8详细参考： http://jingyan.baidu.com/article/ab69b270c01a4d2ca7189f8c.html二 配置Maven安装maven http://jingyan.baidu.com/article/d8072ac45d3660ec94cefd51.htmlMaven在Eclipse中的配置 http://jingyan.bai
2017-09-19 20:12:53
2624
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人