- 博客(20)
- 收藏
- 关注
RSS订阅原创 李宏毅强化学习学习笔记-policy gradient and PPO
1、强化学习policy gradient中，为什么需要将reward减去一个baseline？策略梯度在进行优化的时候，使用的都是对数据进行采样，当所有的奖励都是正的时候，会对所有的梯度方向都鼓励，但是是进行归一化的，所以对那些奖励较少的方向，起到了抑制的效果。但是由于采样操作，当高奖励的动作没有sample到的时候，那些低奖励的动作就被鼓励执行了。...
2019-03-10 17:18:06
834
原创 actor-critic 算法学习笔记
目录1、基于值的算法和基于策略的算法对比2、actor-critic 算法3、TD-error 算法critic 网络代码actor网络代码1、基于值的算法和基于策略的算法对比 基于值的算法，典型的例子是 Deep Q learning。根据状态预测奖励值 (V(s) 表示 值函数)，然后选择对应V(s)最大的动作。是不适用于连续的空间的，如果在无穷多的动作中计算价值...
2019-01-03 11:21:18
2260
原创 问答系统
1、QA SystemKB-QA text-QA : 结合知识图谱作问答或者使用的是收集来的文本集合作问答2、KB-QA 结构化数据KB-QA is performed in two steps: (1) semantic parsing （语义分析）translates a question into a KB query, then (2) KBR （reasoning）trav...
2018-11-13 20:22:12
961
原创 闲聊式对话系统
chitbot 直接使用数据训练一个端对端模型1、lstm模型2、HRED 模型 用来处理端对端模型里面的多轮对话，可以将context内容包括进去，然后也将utterance进行表示3、attention 模型 pointer network chanllenges:a、回复单一的问题 最大相互信息熵损失函数、对抗网络、引入变分结构（VHRED模型）、利用检索...
2018-11-13 19:46:30
727
原创 任务型对话系统
1、 整个对话系统的流程： a、 开放域多轮对话，瞎聊，识别用户意图 b、 准入条件，根据设定好的准入条件，进入封闭域对话 c、 封闭域对话，填槽，必填槽不完整就要澄清让用户填完整，最终执行解释：从一个开放域转入到封闭域，或者从一个封闭域转入到另一个封闭域，中间的跳转是需要逻辑判断的，而这个逻辑判断就是准入条件。 2、封闭式对话 --- 具体...
2018-11-12 19:59:44
3369
原创 全双工语音对话以及在智能硬件上的应用 --- 学习笔记
1、全双工交互 --- 类比的是 人们之间的交谈过程一样 在一般的问答系统里面，问一句答一句，或者使用多轮交互，全双工交互希望可以达到的效果是类似人与人之间打电话一样，不仅仅是一问一答，可能是用户说多句话，然后机器人回答一下；甚至机器人可以主动提问来帮助交互2、面向任务的对话系统 VS 面向过程的对话系统面向任务的对话系统 --- 将用户的query进行意图识别，然后划...
2018-10-20 21:18:32
2583
原创 天猫精灵对话系统分享 张增明 --- 学习笔记
1、领域内意图理解下面是 双向的lstm + crf 架构将 query 进行 框架式语义表示 （语义表达的方式） ，然后在 KB 里面进行查询，它是将领域的确定和意图理解在一个模型中实现的 2、模型迭代更新线上模型 ---- 获得线上日志，在日志里面挖掘出bad cases， 加上人工标注，进一步学习；其中有些case可能是不好区分的，甚至人为都不是很好进行确定的，...
2018-10-19 15:09:33
2035
原创 spring mvc学习系列 --- 控制器学习 controller
spring mvc的官方学习GitHub1、控制器，应用程序逻辑的处理入口，它会负责去调用你已经实现的一些服务。通常，一个控制器会接收并解析用户的请求，然后把它转换成一个模型交给视图，由视图渲染出页面最终呈现给用户。@RequestMapping、@RequestParam、@ModelAttributeRequestmapping 请求映射、RequestParam 请求参数、Mo...
2018-10-07 20:37:49
115
原创 springMVC学习系列 --- idea配置模块，以及使用Tomcat来进行运行
1、Tomcat 详细教程， web工程目录结构2、上述文件代码写好了之后，然后配置 Tomcat ； run >> Edit Configurations >> 然后点击下述页面的 + ，来新建一个 Tomcat server， 后面就可以在操作面板上进行操作。首先在Server页面下，选取Tomcat的位置； 然后在 Deployment，进行配置；配...
2018-10-06 16:57:24
1207
原创 spring 学习系列 --- 配置学习
1、maven repository mvn仓库管理各种依赖关系，例如，<!-- https://mvnrepository.com/artifact/aspectj/aspectjrt --><dependency> <groupId>aspectj</groupId> <artifactId>aspectj...
2018-10-06 15:10:19
127
原创 spring系列学习 --- IOC学习
1、定义类之后，在.xml文件中，进行类似对象化，然后使用 ApplicationContext 和 ClassPathXmlApplicationCotext这两个类来进行读取，构建、调用对象。xmlns 类似指定一个命名空间一样<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi=...
2018-10-06 15:09:07
115
原创 spring学习系列 --- AOP学习
1、AOP是什么？ 面向切片编程可以实现各种注释功能，在某个函数调用之前、运行以及调用之后，实现某些功能，并且可以访问该函数中的参数，以及打印出结果来。使用的jar包主要是三个： AspectJ aopalliance.jar aspectjweaver-1.6.6.jar spring-aspects-4.0.6.RELEASE.jar 在bean.xml文件...
2018-10-06 15:08:07
104
原创 Spring系列学习 --- DAO学习
1、DAO 处理数据的 --- Data Access ObjectThe Data Access Object (DAO) support in Spring is aimed at making it easy to work with data access technologies like JDBC, Hibernate, JPA or JDO in a consistent w...
2018-10-06 15:06:41
1728
原创 知识图谱学习系列-1 知识图谱概论
1、知识图谱 2012年提出的概念知识图谱的推理能力，可以是构建的规则 ---- 可以用在推荐、搜索以及智能问答和对话系统之类的在数据稀疏、不平衡的时候，帮助补全、扩展，进行歧义消解。提供上下文关系尤其在短文本的时候，可以用来进行知识的拓展、消歧openkg.cn 开源的中文知识图谱2、不同的目的，可以构建不同的知识图谱购物 --- 兴趣图谱搜索 --- 实体图谱3...
2018-10-06 14:51:13
344
原创 数据库学习系列 --- MySQL系列 入门配置1
1、MySQL 用户设置这个会有 user passid host 之类 mysql -u username -p password 访问用户，并且密码是 password （我自己的密码是 passwd）2、启动mysqlbash mysql.server start mysql -u root 登录 ; quit 退出登陆CREATE DATABASE me...
2018-10-06 14:50:12
133
原创 spring学习系列 --- 事务管理
1、事务管理 ---- 主要是保证事务运行过程中，输入的数据不出现问题在开发过程中，就是可能会出现程序运行中断，原因可能是程序bug，一块程序想实现一个完整的功能，要是无法全部完成，反倒是会造成错误，所以希望这块代码要么是执行完成，要么就是全部没有执行，即出现执行部分的情况，出现代码回滚。事务是一系列的动作，它们综合在一起才是一个完整的工作单元，这些动作必须全部完成，如果有一个失败的话，那...
2018-10-06 14:48:47
113
原创 spring系列---junit测试
1、junit对应的jar包 junit-4.12.jar 2、使用junit报错，主要是版本的问题，高版本不包含有些功能下载了最新的JUnit版本，是4.12，结果尝试使用发现总是报java.lang.NoClassDefFoundError: org/hamcrest/SelfDescribing这样的错误，上网查了一下，一般的解决方案是，换一个低一点的版本就好了。还有人说，是...
2018-10-06 14:44:27
114
原创 CNN对句子分类（tensorflow）
这篇博客主要是对Convolutional Neural Network for Sentence Classification文章的相应的代码的解读，上面附属了，详细的介绍，帮助刚入门的人进一步来理解tensorflow在CNN对文本分类上的实现，也帮助大家进一步理解CNN
2017-03-17 16:46:02
1984
原创 tensorflow 实现基本AutoEncoder，降噪自编码器
这篇博客主要是自己看了一些关于自编码器的文章和阅读了tensorflow自己公布的源码，并在源码上附上一些注释，因为要完全理解一个算法或者结构，最直接的方式就是阅读相关的源码。
2017-03-17 16:19:59
5927
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人