人工智能
Marina-ju
虽恼太迟,又庆幸终于找到了喜欢的事
展开
-
特征空间和属性空间
语境:机器学习中属性空间:所有属性的张成空间特征空间:所选择的排除线性相关和对模型构建没有益处后的属性构成的属性空间就叫特征空间。属性空间>=特征空间...原创 2019-06-13 16:20:14 · 4211 阅读 · 0 评论 -
Momentum, RMSProp, Adam,自适应学习率
https://blog.csdn.net/willduan1/article/details/78070086上面这篇文章讲得很好转载 2019-07-12 10:32:53 · 761 阅读 · 0 评论 -
keras中的类ModelCheckpoint讲的比较通俗的文章
https://machinelearningmastery.com/check-point-deep-learning-models-keras/转载 2019-07-11 19:15:30 · 1174 阅读 · 0 评论 -
自然语言处理与建模
文本预处理流水线转载 2019-07-05 11:43:30 · 688 阅读 · 0 评论 -
seven老师直播课笔记(7月9号,流水账式,没整理)
raw 数据——>能被学习的数据的过程:特征工程分类:离散的输出空间回归:连续的输出空间线性分类器:D维的空间映射到K维的空间的空间,W=W*D维向量的点积:其物理意义是计算两个变量之间的相关度和相似性softmax:输出的是概率空间yiy_iyi是一个独热编码列向量,yi^\hat{y_i}yi^也是列向量所以Li=−yi.log(yi^)L_i=-y_i.log(\...原创 2019-07-10 17:32:03 · 206 阅读 · 0 评论 -
7月5号线下课:集成学习(杨老师,流水账式,没整理)
同质集成:基学习器异质集成:组建学习器Boosting:串行学习,bias比较小Bagging:并行学习,variance比较小stacking:投票方法是学出来的,学:其实就是迭代,纠错,递归,集成学习一 wide(逻辑回归)&deep learning(深度学习)(Google):wide:记忆性Generalization:泛化性平衡相关性和多样性特征工程一定是层...原创 2019-07-10 17:31:00 · 268 阅读 · 0 评论 -
model优化方法及偏差与方差
目标:argminxf(x)arg min_{x} f(x)argminxf(x),其中,g(x)=∇f(x),H(x)=∇∇f(x)g(x)=\nabla f(x), H(x)=\nabla \nabla f(x)g(x)=∇f(x),H(x)=∇∇f(x)1.梯度下降(Gradient Descent):xk+1←xk−a.g(xk)x^{k+1} \leftarrow x^{k}-a....转载 2019-07-04 10:27:37 · 287 阅读 · 0 评论 -
特征工程中的常用操作
1.数值型数据幅度缩放(最大最小值缩放,归一化…)离散化/分箱分桶(等距:pd.cut,等频:pd.qcut)(特征交叉)统计值(Max,min,quentile)四则运算(加减乘除)幅度变化(有一些模型对输入数据有分布建设,LR建设输入连续值特征符合正太分布)监督学习分箱(用决策树建模,用决策树学习连续值划分方式,把决策树中间节点取出来作为特征组合)2.类别型OneHot-...转载 2019-07-03 23:58:54 · 377 阅读 · 0 评论 -
循环神经网络与应用
循环神经网络 RNN :循环神经网络,处理的是后续的输出与之前的内容有关联的任务。 RNN引入“记忆”的概念 “循环”2字来源于其每个源于都执行相同的任务,但是输出依赖于输入和“记忆”。NMT: neural machine translation一.场景与多种应用:模仿生成论文(生成序列)二.层级结构xtx_{t}xt是时间ttt处 的输入StS_tSt是时...转载 2019-07-03 15:23:49 · 1978 阅读 · 0 评论 -
卷积神经网络
一 卷积神经网络层级结构保持了层级网络结构不同层次有不同形式(运算)与功能主要是以下层次:数据输入层/input layer三种常见的数据处理方式去均值:把输入数据各个维度都中心化到0归一化:幅度归一化到同样的范围PCA/白化:用PCA降维,白化是对数据每个特征轴上的幅度归一化卷积计算层/CONV layer局部关联:每个神经元看作一个filter窗口(receptive...转载 2019-07-02 10:10:18 · 124 阅读 · 0 评论 -
机器学习原理概图
本图来自7月在线,仅方便个人学习上传的转载 2019-06-23 17:09:42 · 914 阅读 · 0 评论 -
机器学习工具包链接
1.sklearn:https://scikit-learn.org/stable/modules/classes.html#module-sklearn.discriminant_analysis2.lightgbmhttps://lightgbm.readthedocs.io/en/latest/Python-API.html#training-api转载 2019-07-02 08:11:19 · 424 阅读 · 0 评论 -
分裂前后增益计算方法
ID3->信息增益C4.5->信息增益比CART->采用Gini系数XG Boost->L~∗=−12∑j=1TGj2Hj+λ+γT\tilde{L}^*=-\frac{1}{2}\sum_{j=1}^{T}\frac{G_{j}^2}{H_j+\lambda}+\gamma TL~∗=−21∑j=1THj+λGj2+γT...原创 2019-06-23 17:18:31 · 1359 阅读 · 0 评论 -
Bagging
来自七月在线课程截图,仅方便个人复习时查找转载 2019-06-11 15:17:39 · 171 阅读 · 0 评论 -
如何通俗理解EM算法
https://blog.csdn.net/v_JULY_v/article/details/81708386?tdsourcetag=s_pcqq_aiomsg转载 2019-06-16 18:13:52 · 176 阅读 · 0 评论 -
FM(factorization Machines)
《Factorization Machines》paper的阅读笔记,仅为了整理个人思路。个人觉得FM的本质就是预测值=偏置+权重1单变量+权重2变量之间的相互作用。偏置和权重都可以是标量,也可以是向量下面是本人认为重要的文章内容摘抄与翻译,能力有限,水平不足,不喜请绕道。一 FM的优点- 能够估计SVM所不能的稀疏矩阵的参数(FMs allow parameter estimatio...原创 2019-08-02 15:51:50 · 206 阅读 · 0 评论