![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
machine-learning
lxqlxq21
这个作者很懒,什么都没留下…
展开
-
Machine Learning(big data)
batch gradient:对于所有data example计算gradient Stochastic gradient:对于单个data计算gradient small group gradient:介于两者之间,对于10-100个data计算gradient当数据量较大的时候,不适合使用batch gradient,因为运算速度太慢。Stochastic gradient converge原创 2015-03-08 20:47:29 · 715 阅读 · 0 评论 -
Machine Learning PCA
σ=1/m∑mi=1(xi)(xi)T\sigma=1/m\sum_{i=1}^{m}(x^{i})(x^{i})^{T} [U,S,V]=svd(Sigma); Ureduce=U(:,1:k); z=Ureduce’*x;参数选择: 1.k:1m∑mi=1||xi−xiapprox||21m∑mi=1||xi||2≤0.01\frac{\frac{1}{m}\sum_{i=1}^{m}|原创 2015-03-08 11:03:29 · 317 阅读 · 0 评论 -
About norms(范数)
L0-norm 统计矩阵中有多少非零元素 L1-norm就是绝对值相加,又称曼哈顿距离 L2-norm就是欧几里德距离 Lp-norm ||x||p=(|x1|p+|x2|p+...+|xn|p)||x||_{p}=(|x_{1}|^{p}+|x_{2}|^{p}+...+|x_{n}|^{p})原创 2015-04-14 23:28:19 · 467 阅读 · 0 评论 -
欢迎使用CSDN-markdown编辑器
[1]PRISM: A Divide-and-Conquer Low-Rank and Sparse Decomposition Model for Dynamic MRI 将矩阵分离为low-rank和sparse部分分别降噪,low-rank部分使用identity transform(即不变换),sparse部分使用tight framelet transform(TF,应该也可以使用其他变原创 2015-04-14 23:18:12 · 480 阅读 · 0 评论 -
Logistic Regression VS. SVM
n=NO. of features m=NO. of training examples 相对于m来说,n比较大:use logistic regression or SVM with linear kernel n is small, m is intermediate: Use SVM with Gaussian kernel n is small, m is large: Create mo原创 2015-03-07 18:33:35 · 361 阅读 · 0 评论 -
Machine Learning SVM
parameter: c=1λc=\frac{1}{\lambda}: large C: lower bias, high variance Small C: Higher bias, low varianceσ2\sigma^{2} large: Higher bias, lower variance small: Lower bias, higher variance *使用高斯核之前别忘记原创 2015-03-07 18:12:22 · 349 阅读 · 0 评论 -
Machine Learning门限tradeoff
Precision=real.positivereal.positive+false.positive\frac{real.positive}{real.positive+false.positive}Recall=real.positivereal.positive+false.negative\frac{real.positive}{real.positive+false.negative}Fs原创 2015-03-07 16:58:16 · 273 阅读 · 0 评论 -
Machine Learning 混合高斯模型
Fraud detection的data set 分配: 10000 negative data(好的零件)=6000 training set+2000 CV +2000 test 20 positive data(出错零件) =0 training set 10 CV+10 test *门限ϵ\epsilon可以使用CV来确定。Anomaly detection(unsupervised)原创 2015-03-08 20:26:23 · 679 阅读 · 0 评论 -
machine learning参数确定
需要确定的参数: 1. training set的大小m。 2. regularization parameter λ\lambda。 3. 多项式的项数θ\theta的数目n。优化方法: 1. 把data set分成三部分,比例是training set: 60%,CV set: 20%,test set: 20%。 2. 用training set确定最优θ\theta。 3. 用C原创 2015-03-07 12:19:13 · 288 阅读 · 0 评论 -
Machine learning- PCA and ICA
两者都是一种坐标变换,假设原坐标系为x,y,新坐标系为z,w。 z=a1x+b1yz=a_1 x+b_1 y w=a2x+b2yw=a_2 x+ b_2 y - PCA 当x,y是两个独立高斯分布,两者正交(E[z,w]=0)和两者独立PZW(z,w)=PZ(z)PW(w)P_{ZW}(z,w)=P_Z(z) P_W(w)是等价的。如果在这种情况下使用ICA,其结果会收敛到PCA的结原创 2015-12-09 01:01:32 · 407 阅读 · 0 评论