使用神经网络进行命名实体识别（二值词窗分类）
根据上下文窗口 建立词向量
通过一个神经网络层，通过一个逻辑分类器，得到这个概率是属于特定实体词的预测概率。
另一个分类器来比较说明 这个词是哪个实体类型（比较概率）
手工实现梯度下降
基础知识
雅可比矩阵：梯度的推广
- 给定一个具有 m m m 输出和 n n n 输入的函数：
f ( x ) = [ f 1 ( x 1 , x 2 , . . . , x n ) , . . . , f m ( x 1 , x 2 , . . . , x n ) ] \boldsymbol{f}(\boldsymbol{x})=[f_1(x_1,x_2,...,x_n),...,f_m(x_1,x_2,...,x_n)] f(x)=[f1(x1,x2,...,xn),...,fm(x1,x2,...,xn)] - 它的雅可比矩阵是一个 m × n m\times n m×n 偏导数矩阵：
∂ f ∂ x = [ ∂ f 1 ∂ x 1 … ∂ f 1 ∂ x n ⋮ ⋱ ⋮ ∂ f m ∂ x 1 … ∂ f m ∂ x n ] ( ∂ f ∂ x ) i j = ∂ f i ∂ x j \dfrac{\partial\boldsymbol{f}}{\partial\boldsymbol{x}}=\begin{bmatrix}\frac{\partial f_1}{\partial x_1}&\dots&\frac{\partial f_1}{\partial x_n}\\\vdots&\ddots&\vdots\\\frac{\partial f_m}{\partial x_1}&\dots&\frac{\partial f_m}{\partial x_n}\end{bmatrix} \color{red}{\boxed{\left(\frac{\partial f}{\partial x}\right)_{ij}=\frac{\partial f_i}{\partial x_j}}} ∂x∂f= ∂x1∂f1⋮∂x1∂fm…⋱…∂xn∂f1⋮∂xn∂fm (∂x∂f)ij=∂xj∂f
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
