基础知识
buracag_mc
一个做着金融梦看着各种书码着代码志从数据挖掘与统计机器学习的篮球爱好者与统计人
展开
-
线性代数1-向量和向量空间
同步于Buracag的博客;音尘杂记后续几篇笔记主要想回顾整理一下需要用到的数学基础知识,主要包括了线性代数、微积分、概念论、数学优化和信息论等内容。相对比较基础,权当复习回顾完善整个知识体系结构。错误之处,还望诸君不吝指教。1. 向量标量(Scalar)是一个实数,只有大小,没有方向。而向量(Vector)是由一组实数组成的有序数组,同时具有大小和方向。例,一个n维向量a 是由n个有序实数...原创 2019-06-19 19:52:40 · 2803 阅读 · 0 评论 -
剑指Offer-数据结构与算法练习题
同步于Buracag的博客《剑指Offer》中的一些常见练习题,包含二叉树、链表以及其他的一些常见算法练习题;最近又系统性地做了下,大致整理了一下解题思路,均用Python实现,持续更新中…文章目录1. 二叉树1.1 定义树节点1.2 根据序列生成一颗树1.2.1 二叉树序列化和反序列化1.3 前中后序遍历1.3.1 前序遍历1.3.2 中序遍历1.3.3 后序遍历1.4 BFS 和 DFS1...原创 2019-09-11 14:11:07 · 612 阅读 · 0 评论 -
信息论2-交叉熵和散度
同步于Buracag的博客主要总结了交叉熵、KL散度、JS散度和wasserstein距离(也称推土机距离,EMD)的相关知识,其中EMD的直观表示可以参见下图:1. 交叉熵对应分布为p(x)p(x)p(x)的随机变量,熵H(p)H(p)H(p)表示其最优编码长度。**交叉熵(Cross Entropy)**是按照概率分布qqq的最优编码对真实分布为ppp的信息进行编码的长度,交叉熵定...原创 2019-08-30 11:33:28 · 446 阅读 · 0 评论 -
信息论1-熵
同步于Buracag的博客信息论(Information Theory)是数学、物理、统计、计算机科学等多个学科的交叉领域。信息论是由Claude Shannon 最早提出的,主要研究信息的量化、存储和通信等方法。这里,“信息”是指一组消息的集合。假设在一个噪声通道上发送消息,我们需要考虑如何对每一个信息进行编码、传输以及解码,使得接收者可以尽可能准确地重构出消息。在机器学习相关领域,信息论也...原创 2019-08-30 11:20:12 · 522 阅读 · 0 评论 -
数学优化3-拉格朗日乘数法与KKT条件
同步于Buracag的博客主要介绍一下数学优化中的拉格朗日乘数法和KKT条件,其实在 拙文 中已经有关于KKT条件的简要介绍和自己的个人总结,这里再一起回顾一下。拉格朗日乘数法(Lagrange Multiplier)是约束优化问题的一种有效求解方法。约束优化问题可以表示为(1)minxf(x)subjecttohi(x)=0,i=1,...,mgj(x)≤0,j=1,...,n\min...原创 2019-08-27 15:27:05 · 518 阅读 · 0 评论 -
数学优化2-优化算法
同步于Buracag的博客优化问题一般都是通过迭代的方式来求解:通过猜测一个初始的估计x0x_0x0,然后不断迭代产生新的估计x1,x2,...xtx_1, x_2, ... x_tx1,x2,...xt,希望xtx_txt最终收敛到期望的最优解x∗x^∗x∗。一个好的优化算法应该是在一定的时间或空间复杂度下能够快速准确地找到最优解。同时,好的优化算法受初始猜测点的影响较小,通过迭...原创 2019-08-09 16:05:54 · 669 阅读 · 0 评论 -
数学优化1-数学优化的类型
同步于Buracag的博客**数学优化(Mathematical Optimization)**问题,也叫最优化问题,是指在一定约束条件下,求解一个目标函数的最大值(或最小值)问题。数学优化问题的定义为:给定一个目标函数(也叫代价函数) KaTeX parse error: Expected 'EOF', got '\cal' at position 1: \̲c̲a̲l̲{A} → \Bbb...原创 2019-08-09 15:59:11 · 1177 阅读 · 0 评论 -
概率论2-随机过程
同步于Buracag的博客;音尘杂记随机过程(Stochastic Process) 是一组随机变量XtX_tXt的集合,其中ttt属于一个索引(index)集合TTT。索引集合TTT可以定义在时间域或者空间域,但一般为时间域,以实数或正数表示。当t为实数时,随机过程为连续随机过程;当t为整数时,为离散随机过程。日常生活中的很多例子包括股票的波动、语音信号、身高的变化等都可以看作是随机过程。...原创 2019-06-25 18:10:09 · 729 阅读 · 0 评论 -
概率论1-随机事件和概率
同步于Buracag的博客;音尘杂记主要回顾概率论中关于样本空间、随机事件和常见概率分布的基础知识。1. 样本空间样本空间 是一个随机试验所有可能结果的集合。例如,如果抛掷一枚硬币,那么样本空间就是集合{正面,反面}。如果投掷一个骰子,那么样本空间就是{1, 2, 3, 4, 5, 6}。随机试验中的每个可能结果称为样本点。有些试验有两个或多个可能的样本空间。例如,从52 张扑克牌中随机抽...原创 2019-06-25 17:02:00 · 1168 阅读 · 0 评论 -
微积分2-常见函数的导数
同步于Buracag的博客;音尘杂记在微积分1中已经附上了一个常见函数形式的导数,下文主要是关于向量函数及其导数,以及在机器学习和神经网络中常见的Logistic函数、Softmax函数的导数形式。1. 向量函数及其导数2. 按位计算的向量函数及其导数假设一个函数f(x)f(x)f(x)的输入是标量xxx。对于一组KKK个标量x1,...,xKx_1, ... , x_Kx1,...,...原创 2019-06-25 16:02:57 · 1054 阅读 · 0 评论 -
微积分1-导数
同步于Buracag的博客;音尘杂记微积分1,主要回顾关于微积分中关于导数的相关知识。错误之处,还望诸君不吝指教。1. 导数基础导数(Derivative) 是微积分学中重要的基础概念。对于定义域和值域都是实数域的函数f:R→Rf : \mathbb{R} \to \mathbb{R}f:R→R,若f(x)f(x)f(x)在点x0x_0x0的某个邻域△x\triangle x△x内,极限...原创 2019-06-19 20:23:11 · 1167 阅读 · 0 评论 -
线性代数2-矩阵
同步于Buracag的博客;音尘杂记线性代数2,主要回顾关于矩阵的相关知识。错误之处,还望诸君不吝指教。1. 线性映射**线性映射(Linear Mapping)**是指从线性空间V 到线性空间W的一个映射函数f:V→Wf : V \to Wf:V→W,并满足:对于VVV中任何两个向量uuu和vvv以及任何标量ccc,有两个有限维欧式空间的映射函数f:Rn→Rmf: \mathbb{R}...原创 2019-06-19 20:01:32 · 632 阅读 · 0 评论