近期,小组成员为解决项目中的功能需求,查找了深度学习的相关书籍以及技术文献,并学习了神经网络与推荐算法的相关知识技术,为生成各个关键词对于各项职业的权重确定技术方向。
神经网络:
基本模块——神经元:
每一个连接都有各自的权重,如何对人工神经网络的权重进行初始化是一个非常重要的话题,这将会直接影响到之后的训练过程,以及最终整个模型的性能。连接的权重通常情况下是一些随机值,可以是负值,正值,非常小,或者非常大,也可以是零。和这个神经元连接的所有神经元的值都会乘以各自对应的权重,然后再把这些值都求和。
在这个神经元里,输入总共经历了3步数学运算:
- x1→x1∗w1
- x2→x2∗w2
- (x1∗w1)+(x2∗w2)+b
先将输入乘以权重(weight),再经过激活函数(activation function)处理得到输出:
- y=f((x1∗w1)+(x2∗w2)+b)
其中,激活函数的作用是将无限制的输入转换为可预测形式的输出。