niukai1768的专栏

label distribution是一个不均衡的数据集，需要做数据预处理Sentence length distribution句子的长度也很极端，有很多的outliers，需要对过长的数据进行舍弃或者切割。

任务这次任务是一个多分类问题。评测标准f1_score，不直接用准确率可能是为了在unbalance的数据集中，更好地评测模型思路特征抽取DLWord2vecGloveBertMLTF-IDF分类器SVMXGboost数据分析特征是由数字表示的，不能直接使用预训练模型，Bert==GG。最简单的特征抽取就是基于统计的TF-IDF，可以尝试自己训练Glove。统计了一下label的分布，差距很大，鉴于评测用的是F1-score。就要对数据进行balance操

1 IntroductionI build a basic bi-lstm model, bi-lstm + attention model and a multy task learning model describe in the paper and a model which Incorporates glosses information using memory network to...

问题描述：求一个任意点，到一个超平面的距离超平面表示在线性代数中，一个超平面可以用下式表示 y(X)=WTX+w0\ y(\mathbf{X}) = \mathbf{W}^{T}\mathbf{X} + w0 y(X)=WTX+w0证明W是超平面的法向量在超平面上任取俩个点Xa，Xb。因为 y(Xa)=y(Xb)=0\ y(\mathbf{Xa}) = ...

反向传播算法的原理很简单，只涉及chain rule和求导，但是在实际编程中，需要考虑到向量化后，会涉及矩阵求导。矩阵的求导只是提供了理论支持，实际实现中又使用了额外的技巧。资源总结：首先观看李宏毅老师的Backpropagation课程，了解为什么这个算法取名为反向传播，怎么传播的优点：例子详细，容易理解 视频地址：https://www.bilibili.com/v...

回顾决策树的分类能力由叶子节点上的条件概率分布决定决策树的内路径只决定了特征空间的划分情况，即给定一个样本xi，最终会落在哪个节点思考： 提升的定义提升的框架 思路：在构建好的k-1棵决策树的基础上，构建第k棵决策树符号说明： 这里需要解释一下俩棵决策树的加权和的含义 权值a1,a2取值不同，首先决定了不同的特征空间的划分，统计后得到不同的条件...

cost function的形式cost function的推导满足以下过程： 1. 认为error 满足某个分布，写出样本点xi的样本的error 2. 认为样本点是相互独立的，推导出其对数似然函数 3. 求偏导，是得导函数为0，分离常数部分，得到误差的表达形式e.g. 线性回归中关于MSE的推导：https://nk2000.github.io/2018/05/16/Linea...

模型定义特征 x：m*n label y：m*1 不同的x, 参数对应一个不同的二项分布 这些二项分布可以通过统计求得改进不按照x是否相同，来统计其二项分布的分布律，而每一个样本点都看做一个独立二项分布 这样的特点就是这样的二项分布只有俩种，分别为 并且能合并表示为 目标函数——交叉熵小目标：对于每一个样本点，分别求出一个分布，使得俩者分布差距最小模...

Loss Function理论基础：中心极限定理 误差符合高斯分布 - 公式推导 解释了为什么损失函数是这个形式模型求解 意义：理论上推导出模型可解，但对矩阵求导，计算量很大，实际不采用对目标函数求梯度 使梯度为0 为什么能添加扰动能防过拟合？通过实践可得，当n维特征向量映射成更高维的特征时，最后求解得到的参数值都很大，因此希望在原los...

PerceptronExpressiveness（and，or，not，xor）and or not represent anything：可以表达由and，or，not组合成的任意逻辑表达式e.g. XOR 结论： 1. 感知机是线性的 2. perceptron can represent anything：可以表达由and，or，not组合成的任意逻辑表达式Learning

RepresentationLearningExpressiveness（and，or，xor）size of hypothesis set 结论： - hypothesis space is very expressive because there’s lots of different functions that you can represent - should have some

why use Training set用于检查过拟合对模型在一个独立数据集的表现How分离训练集&测试集 sklearn版本 3.17 3.18 包引入 from sklearn import cross_validation from sklearn.model_selection import train_test_split 函数调用 right-alig