weiyaner的博客

线下可能很好，但是线上表现并不如意，对于这种线上线下一致性问题，是机器学习模型在上线之后经常遇到的问题。围绕着这个问题，从多个角度来考虑该问题。

在机器学习中，主要有两大任务，分别是分类和回归任务，下面针对这两大场景分别介绍常用的损失函数。损失函数一般使用L(y,f(x))L(y,f(x))L(y,f(x))表示，代表预测值和实际值的偏差程度，一般是追求越小越好。此外，再看一些定义：损失函数：用于衡量’单个样本点’预测值与实际值的偏离程度。风险函数：训练过程中的模型，对已知训练数据的计算。可以理解为是train过程的loss。用于衡量’样本点平均意义’下的好坏，就是说要除以batch_size。经验风险：指预测结果和实际结果的差别。结

随机梯度下降在机器学习/深度学习中的重要作用不言而喻，甚至其他的许多优化方法都是根据随机梯度下降法改进而来。L(θ)=M1​i=1∑M​L(f(xi​,θ),yi​)∇L(θ)=M1​i=1∑M​∇L(f(xi​,θ),yi​))θi+1​=θi​−α∇L(θt​)由于经典的梯度下降法在每次对模型参数进行更新时，需要遍历所高的训练数据。...

首先数据的分布绝大多数是非线性的，而一般神经网络的计算是线性的，引入激活函数，是在神经网络中引入非线性，强化网络的学习能力。所以激活函数的最大特点就是非线性。不同的激活函数，根据其特点，应用也不同。Sigmoid和tanh的特点是将输出限制在(0,1)和(-1,1)之间，说明Sigmoid和tanh适合做概率值的处理，例如LSTM中的各种门；而ReLU就不行，因为ReLU无最大值限制，可能会出现很大值。......

文章目录搜索相关性定义字面相关性语义相关性1 传统语义相关性模型2 深度语义相关性模型基于表示的匹配sentence representation基于交互的匹配sentence interaction两种方法的优缺点比较基于Bert的语义相关性建模1 基于表示的语义匹配——Feature-based思想缺点：2 基于交互的语义匹配——Finetune—basd3 基于BERT优化美团搜索核心排序相关性的技术架构图搜索相关性定义在搜索场景中，相关性定义如下：对于给定的query和候选Doc，判断二者之

本文主要基于各大公司的面试题目，经典论文，学习过程中的常见问题进行总结，以期达到进一步务实深度学习基础部分，和面试复习。文章目录1 深度学习经典网络架构发展总结1.1 总览全局1.2 深度模型的雏形2 各种算法的作用分析2.1 Batch Normalization，BNBN层出现的原因——难训练、收敛慢BN层的原理BN层的作用BN层的位置2.2 Dropout层Dropout出现的原因——过拟合Dropout的原理Dropout的实现Dropout的作用——如何防止过拟合Dropout的代码实现3 各种