- 博客(20)
- 收藏
- 关注
RSS订阅原创 浅浅地谈 —— 强化学习的爬行之旅（三）
上一节中我们介绍了解决问题的动态规划算法和蒙特卡洛方法，以及RL的一些需要注意的问题，从这一节开始，我们开始对强化学习的每一个类族进行比较详细的介绍。由于本系列的主旨在于“浅浅地谈”，因此需要参考原理和公式推导的小伙伴们可以参看别的文献。本人知识有限，因此博文中难免出现失误，希望有小伙伴可以指出并不吝赐教。model-free算法族有很多小伙伴可能会感到疑惑：既然算法是model-...
2018-07-20 18:32:44
212
原创 浅浅地谈 —— 强化学习的爬行之旅（二）
上一节讲到了强化学习的应用场景及基本的定义。在这一节中，我们来探究如何解决这个问题。首先回顾一下问题：我们有一个状态集合S和一个动作集合A，那么如何在每一个状态st下选择合适的at，在过程结束时获得最大的total R?解法一 ： 动态规划动态规划是解决贪心问题的一个比较常用的方法，通常来说，动态规划算法分为以下几步： 1.划分阶段：安装问题的时间或者空间的特征，把问题分为若干个...
2018-07-20 16:23:57
220
原创 浅浅地谈 —— 强化学习的爬行之旅（一）
入坑强化学习有一段时间了，对于强化学习的学习理念以及思想也有了一定程度的了解。强化学习的突然火爆源于几年之前的Alpha Go战胜韩国某位围棋高手事件（名字不说，都懂）。能够进行自我学习自我更新，且不受情绪影响，拥有智能决策的人工智能体已经开始影响生活的方方面面，而这种特性的起源正是基于一种能够进行自主环境探究的学习方法，这就是RL（Reinforcement Learning，强化学习）。引...
2018-07-19 15:58:39
352
原创 一个TFBOY的自我修养——Tensorflow学习笔记（1）
已经很久没有在CSDN上写Blog了，毕业季找工作真的是一件很头疼的问题，昨天被某公司放了鸽子之后心情十分不爽。反思余后是感觉自己的硬件不足，打算写写博客静静心神，顺便把学到的知识再进行一次比较系统的梳理。水平有限，仅供参考。1.用TensorFlow写一个简单的HelloWorld前提：已经安装好tensorflow，CPU/GPU版本均可相信每一个梦想成为Coder的盆友迈入编程大门的第一步都...
2018-06-08 16:08:32
2243
2
原创 瓜皮机器学习——用java对ID3算法进行实现
瓜皮机器学习——用java对ID3算法进行实现琢磨了两天的决策树算法，还是有一些心得。首先来说一说什么是决策树，引用一下度娘百科的官方解释：****分类树（决策树）是一种十分常用的分类方法。他是一种监管学习，所谓监管学习就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习***
2017-08-01 12:14:16
515
原创 机器学习基石 4-2 Probability to the Rescue
上节介绍了机器学习在现实情况中所不能够解决的一些情况，本节主要论述了learning方法在一定的情况下能够对outline of data set的data进行预测的可行性。问题：使用ML方法得出的g能否在out of data set的data上表现与f一致？举例：罐子里的弹珠想象一个有很多很多个弹珠的罐子，里边的弹珠有绿色的和橙色的，我们的任务是要统计橙色弹珠在所有
2017-04-26 15:03:06
702
原创 机器学习基石 4-1 Learning is impossible
在第三节中关注了ML方法的分类，在本节中，HT Lin介绍了一些用Learning做不到的事情。Example：A Learning Puzzle在上图中，上边一排的3*3方阵所示的情况归于y=-1类，下边一排的情况归于y=+1类，要做的事情是从上面两排方阵的黑白分列情况中归纳出一个规则，并用这个规则来判断下边的排列情况中g(x)的输出结果为+1还是-1。
2017-04-26 14:39:48
423
原创 机器学习基石 3-4 Learning with different input space
前三节（3-1、3-2和3-3）分别从output space、data label和protocol三个方面对ML Algorithm进行了划分。本节从input space的角度来对ML Algorithm进行区分。最简单的情况：concrete feature对于一个给定的input data set，最简单的情况就是能够从给定的特征中提取出需要学习的信息。如
2017-04-25 17:46:55
650
原创 机器学习基石 3-3 Learning with different protocol
之前的两节内容分别从output space和data label两个方面对ML Algorithm进行了分类，本节从与机器进行protocol的过程对ML Algorithm进行划分。首先解释一下什么叫protocol。protocol定义了一种用户与机器进行沟通的方法。举一个简单的例子，我们可以简单地把work的过程比作上课，用户相当于老师，机器相当于学生。上课方式的不同就是pro
2017-04-25 16:15:51
505
2
原创 机器学习基石 3-2 Learning with different data label
在上节中，我们从output space的不同将ML的过程简单地分为Classification和Regression两个大类，其中Classification的输出结果为固定的值，其输出空间可以表示为能够写出所有元素的集合，而Regression的解空间只能由描述法界定（解集为连续值）。在本节中，从另一个不同的角度对ML方法进行分类，即从data label的角度进行分类。简单来说，
2017-04-25 15:25:51
787
原创 机器学习基石 3-1 Learning with different output space
本节主要介绍了ML在解决一些基于基本的binary classification问题的问题上所使用的方法以及列举了一些这些问题所对应的例子。最基本的问题：binary classification简单的二元分类问题对应的应用例子主要有上一节提到的银行发卡问题，邮件分类问题等，该类问题解决过程中要求出的直线我们成为linear classifier（线性分类器）。
2017-04-25 10:52:17
428
原创 机器学习基石 2-* Summary
用大概五天时间基本完成了机器学习基石Lecture2部分的学习（中间有一段时间耽误了），总体来说感觉还是比较轻松的，整个Lecture2的知识点如下：2-1 介绍了ML过程中的一些基本符号，并且引入了一个银行发信用卡的例子，从这个例子出发引进了linear classifier的概念；2-2 介绍了PLA，PLA是一种能够从自身的错误中感知并改进自身的算法；2-3 从数
2017-04-25 10:11:18
374
原创 机器学习基石2-4 Non-Separable Data
上一节中从数学角度证明了PLA在Data是处于linear separable的状态下在运行一段时间之后是一定能够停下来的。本节介绍了一种在不确定data是否处于linear separable的状态下的一种PLA的变体方法。从上节知道，PLA能够halt表现在以下两个方面：1、wf和wt的内积越来越大，且增长速度很快（说明向量wf和向量wt越来越接近）；2、wt的增长很缓慢（说明wt
2017-04-25 09:39:56
637
原创 机器学习基石2-3 Guarantee of PLA
本节主要对上节提出的PLA能否always halt的问题进行了证明。待证问题：PLA能否always halt？如果能，有没有一定的条件？如下图：很明显，如果点分布如第一张图所示的，那么就可以用一条线将它们分来，第二和第三张图中的情况则不能。我们称第一张图中点的分布情况成为linear separable（线性可分）。简而言之，当data处于一种线性可
2017-04-24 10:23:00
659
原创 机器学习基石2-2 PLA(Perceptron Learning Algorithm)
本节主要针对上节讲的一种简单的h（x）的形式所进行较为深入的讲解。回顾上节，h（x）的形式如下：h（x）表现为一个n+1维的向量W和向量X的内积。首先搞清楚一个概念，并不是所有的PLA都是线性的，有各种各样的classifier，如下图：有些情况时linear classifier解决不了的，如上图中的后两种情况。问题：如何选取一个最接近f的g？
2017-04-20 17:12:59
608
原创 机器学习基石2-1 Perceptron Hypothesis Set
本节内容主要讲了ML的最基础的工作流程，HT Lin引用了一个非常简单易懂的银行发信用卡的例子讲述了ML是如何作用于Data Set以及获取结果的。（1）基本缩写字母表达的涵义：A：机器学习算法D：Data Set，即数据集H：Hypothesis Set，即假设集（注意，不是单个的假设！）g：最佳假设，即最接近规则f的假设2.银行信用卡发卡例子
2017-04-20 16:11:56
2279
原创 机器学习基石1-5 ML & other fields
这一节课主要介绍了ML和一些其他相关领域的相似处以及区别。（1）ML & Data Mining从定义上看：ML：通过学习的方式，计算出一个与目标函数f相似的假设g；DM：从大量资料中找到有用的信息；相似处：如果g即为“有用的信息”，则ML=DM；如果g与“有用的信息”相关，则DM可以用于协助ML相异处：ML可以通过一些小规模的数据实现，而DM通常要用到
2017-04-19 09:51:37
440
原创 intelij中ssm基本配置（二）
在之前的文章我们已经介绍了如何新建一个maven项目以及如何导入一个ssm工程所需的jar包，接下来继续进行ssm的配置。3、进行mybatis配置mybatis主要是一个能够将数据库中单个的表映射到java中的pojo（与class类似），并用.xml文件的方法定义了数据库中的crud操作。例如，我在mysql中定义这样一个表结构：一个很简单的表结构，其中有i
2017-01-31 12:02:29
266
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人