- 博客(14)
- 问答 (3)
- 收藏
- 关注
RSS订阅
原创 kd树
K-近邻法距离度量标准：欧式距离或更一般的 LpL_pLp 距离。k 值的选择：k 值小时，k 近邻模型更复杂；k 值大时，模型更简单（当 k=N 时，最简单）；用交叉验证法取得最合适的 k 值。分类决策原则：多数表决。构造kd树kd树用于搜索与规定点空间距离最小的点。kd树与线段树类似，线段树存某一区间，kd树存某一k维空间。构造kd树的方法也是从一整个空间开始，递归往下分配空间...
2019-07-06 14:16:55
1639
原创 Cross Validation
Cross Validation什么是Cross Validation？假设目前已有的数据集全集为D，从中选出一部分作为交叉验证集。其余集作为训练集，将已有的模型A1A_1A1在训练集上训练，在验证集上得到Error1Error_1Error1，再轮换选出另一部分作为验证集，重复。得到E(A1)‾\overline{E(A_1)}E(A1)，对模型A2A_2A2同样操作，得到E...
2019-07-06 14:15:17
163
原创 信息增益
特征选择信息增益1.1 熵 随机变量 X ，其分布概率为 P(X=xi)=pi,i=1,2,⋯ ,nP(X=x_i)=p_i , i=1,2,\cdots,nP(X=xi)=pi,i=1,2,⋯,n 熵定义为 : H(X)=−∑i=1npilogpiH(X)=-\sum_{i=1}^np_i\log {p_i}H(X)=−i=1∑npilo...
2019-07-06 14:13:21
276
原创 机器学习基石作业三20题
import numpy as npimport requestsdef get_data(url): content=requests.get(url).content content=content.decode('utf-8') content=content.split("\n") X=[] Y=[] for line in conte...
2019-06-16 17:41:59
253
原创 cross-entropy error
求cost−functioncost -functioncost−function：二元分类将每一个数据看作一个点。设正确分类的概率为p(x).实际得到的某点被分为1的概率为p(x|1),则若该点为1，则p(x)=p(x∣1),p(x)=p(x| 1),p(x)=p(x∣1),若该点为-1，则p(x)=p(x∣−1)=1−p(x∣1)p(x)=p(x| -1)=1-p(x| ...
2019-06-16 16:47:43
243
原创 差分前缀和
差分与前缀和这两个常常一起用，所以记在一起。差分：当对一个区间[L,R]内的每一元素都进行+k操作时，若直接暴力常TLE，这时就能用差分。对一个区间[L,R]内的每一元素都进行+k操作相当于arr[L]比arr[L-1]大k，arr[R]比arr[R+1]大k，所以只需对区间两端操作, arr[L]+=k;arr[R+1]-=k;至于为什么不是arr[R]+=k;还在学，但从实践来看还是...
2019-06-10 21:53:43
356
原创 pocket PLA中权重w更新的理解
pocket PLA中权重w更新的理解在不断更新w1的同时利用w找到历史上所有w1中最小的那个，最终存储在w中。相当于w1是应聘者，w是面试官，在这一届所有的应聘者中找到最有能力者，继承w的位置，故必然需要w1不断地更新，而w只需要更新为他看到过的w1中最有能力的那一个，不需要已知更新，只要接受w1的挑战即可。...
2019-06-08 22:54:55
362
原创 Python
太久不用Python，记一下易错的点。Python传参数时，兼具传值与传引用，当参数为可变数据类型，如列表时，传引用，可直接在函数内改变参数的值；当参数为不可变类型时，传值。list+=与=+有差别，+=是在原列表上改动，因此=+地址会改变。若要在函数内改动list，建议用+=。narray与list类型不同，使用时注意转换。...
2019-06-08 17:48:18
122
原创 hexo
**找博客主题时逛了一圈发现还是ghost的默认casper主题最好用，但ghost是动态部署，github只支持静态网页，而我又懒得搞ghost，所以只好找静态移植版的casper。**安装先附上ghost链接。其实github支持的jekyll和hexo都有casper的移植。先是Jekyll版：Kasper还有hexo版：capserhexo版的 demo安装方法参考 ...
2019-06-05 14:16:09
330
原创 模拟退火算法
模拟退火算法命名：模拟退火算法来源于固体退火原理，将固体加温至充分高，再让其徐徐冷却，加温时，固体内部粒子随温升变为无序状，内能增大，而徐徐冷却时粒子渐趋有序，在每个温度都达到平衡态，最后在常温时达到基态，内能减为最小。原理：如上图所示，从A点开始下降，寻找最低点，若经过B点，由于B点的梯度为0，故在此点可能误将极值点作为最指点，退火算法正是为了解决这一问题。算法中规定了有限次的循环上...
2019-06-04 22:17:00
217
转载 博弈算法
博弈算法几种无法用常见博弈树解答的题型，寻找必败态。1.巴什博弈问题模型： 有一个堆物品，物品数量为n个，两个人轮流从这堆物品中取物品，规定每次至少取一个，最多取m个，最后取光者得胜。解决思路： 当n=m+1时，无论先手者取多少个，后手者都能一次性取完剩下的，即先手必败。故可推得当面对n%(m+1)=0时，先手必败。当面对n=r*(m+1)+s时，先手取s，后手者取一定量设为a，先手者再...
2019-04-05 18:43:33
748
原创 拓扑排序
基于dfs的拓扑排序拓扑序拓扑排序DFS算法已知为DAG的情况判环Kahn算法拓扑序有向无环图DAG，对每一个顶点给一个编号，第i号顶点叫做vi，那么存在顶点vi到顶点vj的边时，就有i<j成立，这样的编号方式叫做拓扑序。拓扑排序如果把图（a）中的顶点按照拓扑序从右到左排列，那么所有的边都是从左指向右的。求解拓扑序的算法叫做拓扑排序。DFS算法使用栈以使结果为正向排序已知为D...
2019-03-31 16:32:27
235
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人