- 博客(10)
- 收藏
- 关注
RSS订阅原创 推荐系统-笔记
什么是推荐系统一种信息过滤系统，预测用户对物品的评分和偏好能做什么：可以把那些最终会在用户和物品之间产生的连接提前找出来需要什么：需要已经存在的连接，从已有的连接去预测未来的连接怎么做：预测用户评分和偏好，实现方式：机器推荐和人工推荐推荐系统的问题模式评分预测（20%）数据不易收集，用户给出评分意味着他已经完成了前面所有的漏斗环节；数据质量不能保证，伪造评分数据门槛低，...
2020-02-09 14:47:20
434
原创 随笔-关系抽取（三） — Dependency-based Models
关系抽取（三） — Dependency-based ModelsImproved Relation Classification by Deep Recurrent Neural Networks with Data Augmentation现状模型Bidirectional Recurrent Convolutional Neural Network for Relation Classifi...
2020-01-18 21:04:52
592
原创 随笔-关系抽取（二） — RNN-based Models
关系抽取（二） — RNN-based ModelsAttention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification现状模型代码Semantic Relation Classification via Bidirectional LSTM Networks with Entity-aw...
2020-01-17 00:46:37
1176
原创 随笔-关系抽取（一） — CNN-based Models
关系抽取（一） — CNN-based ModelsRelation Classification via Convolutional Deep Neural Network现状模型代码Classifying Relations by Ranking with Convolutional Neural Networks现状模型实现Relation Classification via Multi-...
2020-01-16 17:47:45
2228
原创 随笔-Attention
AttentionEncoderDecoderEncoderclass Encoder(tf.keras.Model): def __init__(self, vocab_size, embedding_dim, enc_units, batch_sz): super(Encoder, self).__init__() self.batch_sz = b...
2020-01-14 14:24:22
242
原创 Bert源代码（二）模型
Bert源代码（二）模型模型训练、评估和预测流程Bert模型Transformer模型Bert模型Bert模型代码解析参考文献export BERT_BASE_DIR=/path/to/bert/uncased_L-12_H-768_A-12export GLUE_DIR=/path/to/gluepython run_classifier.py \ --task_name=MRPC \...
2019-10-12 17:52:25
924
原创 Bert源代码（一）预训练
Bert源代码解析（一）预训练生成预训练数据执行代码创建训练示例先使用FullTokenizer进行tokenizationFullTokenizer再使用create_instances_from_document为每个文档创建实例create_instances_from_document生成预训练数据tfrecord预训练定义RunConfig的config定义TPUEstimatorSpe...
2019-10-11 15:00:38
930
1
原创 Tensorflow Optimizer介绍
训练常规做法：1. 定义损失函数loss2. 使用optimizer进行minimize损失函数lossminimize loss的由两部分组成：compute_gradientscompute_gradients( loss, var_list=None, gate_gradients=GATE_OP, aggregation_method=None...
2019-10-08 22:26:04
499
原创 Bandit算法
算法思想累计遗憾∑i=1T(Gopt∗−Gi)\sum_{i=1}^T (G_{opt}^* - G_{i})i=1∑T(Gopt∗−Gi)Gopt∗G_{opt}^*Gopt∗是最优选择方案的收益 ，GiG_{i}Gi是实际采取的选择的收益。目标是累计遗憾最小 。更多选择确定好的方案更少寻找确定不好的方案更多选择不确定好坏的方案常见的Bandit算法汤普森采样B...
2019-10-06 18:04:17
293
原创 深度学习-后向传播算法
深度学习-后向传播算法前向传播为什么需要反向传播后向传播梯度下降[^1]链式法则一次前向传播[^2]后向传播反向传播的问题及解决方案深度学习的第一步，一定要理解后向传播算法。前向传播∂C∂wj≈C(w+ϵej)−C(w)ϵ\frac{ ∂C }{ ∂wj }≈C(w+ϵej)−C(w)ϵ∂wj∂C≈C(w+ϵej)−C(w)ϵ计算损失函数C关于每个权重wj 的梯度，都需要对于每一个样本计...
2019-09-17 11:10:11
1229
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人