- 博客(63)
- 收藏
- 关注
RSS订阅原创 人工智能教程 - 专业选修课程4.3.5 - 强化学习 4.智能体分类,规划,预测和控制等简介
智能体分类Categorizing RL agents基于价值 Value BasedNo Policy (Implicit)Value Function基于行动决策 Policy BasedPolicyNo Value Function结合价值和行动决策 Actor CriticPolicyValue Function无模型 Model Fr...
2020-02-29 23:46:54
197
原创 人工智能教程 - 专业选修课程4.3.5 - 强化学习 3.行动决策,价值函数,模型,迷宫问题
行动决策 policy行动决策 A policy is the agent’s behaviour是状态到行动的映射 It is a map from state to action, e.g.选择的决策 Deterministic policy: a=π(s)a = \pi(s)a=π(s)随机的解决 Stochastic policy：π(a∣s)=P[At=a∣St=s]\pi (...
2020-02-29 23:05:54
207
原创 人工智能教程 - 专业选修课程4.3.5 - 强化学习 2.状态,智能体的组件
状态 state:State is the information used to determine what happens nextFormally, state is a function of the history:状态state则是关于历史记录history的函数St=f(Ht)S_t =f(H_t)St=f(Ht)状态有三种定义：1.environment ...
2020-02-29 21:10:50
392
1
原创 人工智能教程 - 专业选修课程4.3.5 - 强化学习 1.强化学习简介,三要素,历史记录
强化学习简介Reinforcement learning强化学习是多学科交叉的学科机器学习最优化控制奖励系统条件作用以及条件反射实验离散数学博弈论效用理论和有限理论强化学习和其他机器学习范式有什么区别？What makes reinforcement learning different from other machine learning paradigms?1.强...
2020-02-29 15:44:40
649
原创 人工智能教程 - 学科基础课程2.6 - 机器学习导论 18.大规模机器学习,高性能计算方法,在线学习机制简介
大规模机器学习large scale machine learning在机器学习中，决定因素往往不是算法最优，而是谁的训练数据最多。得到一个高性能的机器学习系统的最佳途径，如果你采用低偏差的学习算法，并进行大量的数据进行训练...
2020-02-28 23:12:35
190
原创 人工智能教程 - 学科基础课程2.6 - 机器学习导论 17.协同改进过滤算法,均值归一化
协同改进过滤算法将会把 x 和 θ\thetaθ 初始化为小的随机值。用梯度下降或者其他的高级优化算法把这个代价函数最小化。用一个具有一些参数 θ\thetaθ 的用户，以及一部学习得到的特征 x的电影，来预测该用户给电影的评分。向量化实现协同过滤算法也叫做 低秩矩阵分解 low rank matrix factorization均值归一化Mean normalizat...
2020-02-28 19:35:12
144
原创 人工智能教程 - 学科基础课程2.6 - 机器学习导论 16.推荐系统,基于内容推荐算法,协同过滤
推荐系统是机器学习中的一个重要的应用。推荐系统的特征对于学习算法的性能有很大的影响。预测电影评分例子：有 5 部电影和 4 个用户，要求用户为电影打分。基于内容的推荐算法content based recommendations每部电影都有两个特征x1,x2x_1,x_2x1,x2可以根据特征和参数，生成空缺值的预测值...
2020-02-28 18:29:36
210
原创 人工智能教程 - 学科基础课程2.6 - 机器学习导论 15.异常检测,密度估计,高斯分布,算法,实数评价法
异常检测Anomaly detection举个飞机制造厂商的例子其实类似于生产线的QA 质量控制测试密度估计小于阈值，异常点大于阈值，正常应用较为广泛的实际上有欺诈异常检测，也有制造业欺诈高斯分布 Gaussian distribution也叫正态分布 normal distribution方差 variance高斯分布例子参数估计样本的密度估计dens...
2020-02-28 10:29:50
216
原创 人工智能教程 - 学科基础课程2.6 - 机器学习导论 14.降维,数据压缩,可视化数据,PCA简介
降维dimensionality reduction有几个原因去降维数据压缩 data compression使得数据占用较小的空间,还能对学习算法进行加速。可视化数据数据压缩，用一维取代二维，减少冗余redeuces the redundancy用二维取代三维可视化数据如果将数据可视化，可以更好的了解数据。50维数据50维→\rightarrow→ 2维，但是其可...
2020-02-27 23:23:28
133
原创 人工智能教程 - 学科基础课程2.6 - 机器学习导论 13.K-Means优化目标,随机初始化,选取聚类数量
K-Means优化目标clustering optimization objective优化目标函数有两个目的：可以对学习算法进行调试，确保 K-Means 运行正确运用K-Means 优化目标可以找到更好的簇，并避免局部最优解，从而找到全局最优。这里的代价函数也叫失真函数 distortion function随机初始化多次的初始化可以更好的避开局部最优K-Means存在...
2020-02-27 21:45:12
649
原创 人工智能教程 - 学科基础课程2.6 - 机器学习导论 12.支持向量机简介,无监督学习,聚类,K-Means算法
支持向量机(SVM)Support Vector Machine除了逻辑回归和神经网络，支持向量机为非线性方程的解决提供了一种更为清晰，更加强大的方式。粗略地看，SVM会构造出分段的结果，SVM的输出结果也不是得到概率，而是其中一个结果。核函数kernels是用于解决similarity相似度问题的库文件libsvm是非常好的使用SVM的工具无监督学习 Unsupervised Le...
2020-02-27 18:23:47
829
原创 人工智能教程 - 学科基础课程2.6 - 机器学习导论 11.随机初始化,网络结构,训练的总步骤
随机初始化Random Initialization在逻辑回归中，可以初始化所有的θ\thetaθ为0但是在神经网络中，a1(2)=a2(2)a_1^{(2)}=a_2^{(2)}a1(2)=a2(2)，权重全都一样，δ\deltaδ值一样， 偏导也都一样。将会导致整个网络都很冗余，最终的逻辑回归单元只会得到一个特征...
2020-02-27 14:11:42
185
原创 人工智能教程 - 学科基础课程2.6 - 机器学习导论 10.神经网络代价函数,反向传播,梯度检验
神经网络代价函数神经网络二元分类和多类别分类问题神经网络代价函数
2020-02-26 23:07:28
172
原创 人工智能教程 - 学科基础课程2.6 - 机器学习导论 9.神经网络,前向传播,多元分类
线性分类的局限特征量巨大时，无法表现良好或过拟合而神经网络，它在学习复杂的非线性假设上被证明是一种好得多的算法，即时输入特征空间或 n 很大，也表现良好神经网络起源 origin最初产生的目的是制造能模拟大脑的机器。逻辑单元神经元模拟成逻辑单元神经网络中， 使用S形(sigmoid)或者(逻辑 logistic) 激活函数的人工神经元,一般用g(z)表示，之前的θ\theta...
2020-02-26 19:07:40
151
原创 人工智能教程 - 学科基础课程2.6 - 机器学习导论 8.正则化线性回归,正则化的逻辑回归模型
正则化线性回归regularized linear regression拟合线性模型的两种方法梯度下降正规方程梯度下降正规方程正则逻辑回归的梯度下降的方法θ\thetaθ参数...
2020-02-26 15:17:25
127
原创 人工智能教程 - 学科基础课程2.6 - 机器学习导论 7.优化算法介绍,多类别分类,过拟合,正则化
拟合逻辑回归的模型参数θ\thetaθfit the parameters theta Cost function for logistic regression
2020-02-26 13:03:11
203
原创 人工智能教程 - 学科基础课程2.6 - 机器学习导论 5.学习率,多项式回归,标准方程法
梯度下降法实践 学习率(Learning Rate)绘制出 pluck cost function J迭代的步数需要根据不同的算法做调整，30， 3000， 3000000行之有效的方法是：去尝试使用不同的α\alphaαto choose α\alphaα, try:…,0.001 ,0.003,0.01,0.03, 0.1, 0.3, 1,…...
2020-02-24 21:29:42
183
原创 人工智能教程 - 学科基础课程2.6 - 机器学习导论 4.多变量线性回归,多维特征量,特征缩放,均值归一化
矩阵(Matrix)是由数字组成的矩形阵列Rectangular arrty of numbersDemensions of matrix: number of rows X number of columns向量(vector)一个向量是一种特殊的矩阵，其只有一列矩阵An n X 1 matrixalso called n-dimensioned vector...
2020-02-24 20:23:06
517
原创 人工智能教程 - 学科基础课程2.6 - 机器学习导论 3.梯度下降,线性回归中的梯度下降算法
梯度下降(Gradient descent)是一种求函数最小值的算法，梯度下降算法可以使代价函数J最小化。不仅适用于线性回归问题，同时也适用于一些其他情况。Have some function J(θ0,θ1)J(\theta_0,\theta_1)J(θ0,θ1)Want minθ0,θ1J(θ0,θ1)min_{\theta_0,\theta_1}J(\theta_0,\th...
2020-02-23 23:15:34
177
原创 人工智能教程 - 学科基础课程2.6 - 机器学习导论 2.线性模型,代价函数,轮廓图
线性回归算法例子还是之前预测房价：Notation:m = Number of training examplesx’s = “input” variable/features 特征量y’s = “output” variable/ “target” variable...
2020-02-23 21:00:59
226
原创 人工智能教程 - 学科基础课程2.6 - 机器学习导论 1.定义
动态规划 dynamic programming解决动态规划问题有五步骤定义你的一些问题 define subproblems猜是解决方案的一部分 guess(part of solution)复现 recurrencerecurse+memoizesolve riginal problem...
2020-02-23 10:07:26
186
原创 人工智能笔记 2.1人工智能导论- 3.约束,线条图,解决问题的方法
约束:解释线条图图7.1发展阶段1 Link2 Link2 Link∗k^*k∗图7.2争议(argument)GUZMAN -实验主义者(EXPERIMENALIST)→\rightarrow→ HUFFMAN -数学家(mathematican) →\rightarrow→ WALTS这个过程既不是归纳，也不是演绎。而是溯因so by a process of neit...
2020-02-22 13:57:09
515
原创 人工智能笔记 2.1人工智能导论- 2.博弈
博弈 (Game Play)1997年，深蓝打败了国际象棋世界冠军。分析一下用电脑模拟下国际象棋的可能性：how it might be possible for a computer to play chess机器可以对棋盘形势进行一个描述，同人类的做法一样，讨论兵形，王安全性，但是很难实现。(Analysis and perhaps some strategy,tactics 战术...
2020-02-21 21:56:14
551
原创 人工智能笔记 2.1人工智能导论- 1.什么是AI,深度优先,广度优先,最优路径
人工智能是什么人工智能是关于算法通过表示得以呈现的约束条件而表示支持针对思维，感知和行动的有机体模型(algorithms enabled by constriants exposed by representations that support Models targeted at loops of thinking,perception,action)解释过去预测未来理解知...
2020-02-21 17:39:59
1041
1
原创 人工智能教程 - 数学基础课程1.7 - 最优化方法4-7 最优化思路第二步核心,约束条件,KKT
最优化思路第二步核心steepest descent method: dk=−▽f(xk1.i.e.,dk=−g(xk))d_k=-\bigtriangledown f(x_k1.i.e.,d_k=-g(x_k))dk=−▽f(xk1.i.e.,dk=−g(xk))Newton method :dk=−H−1(xk)g(xk)d_k= -H^{-1}(x_k)g(x_k)dk=−H...
2020-02-20 14:02:22
352
原创 人工智能教程 - 数学基础课程1.7 - 最优化方法2-3 最优化思路第三步核心,控制问题,目标函数
最优化思路第三步Steps: k=0, 1, 2,…F(α)=f(xk+α.dk)F(\alpha) =f(x_k+\alpha.d_k)F(α)=f(xk+α.dk)xk,dkx_k, d_kxk,dk is fixed∴\therefore∴其实就是一维问题，单变量的最优化问题。我们要做的就是，告诉计算机两件事情：xkx_kxk点的确定，方向在哪里什么地方停下来...
2020-02-19 15:03:32
255
原创 人工智能教程 - 数学基础课程1.7 - 最优化方法-1 最优化场景,思路
最优化场景有些场景，变量很多，很大，微积分难于处理。此类问题可用最优化来解决。P1(x)=0P_1(x)=0P1(x)=0P2(x)=0P_2(x)=0P2(x)=0...Pm(x)=0P_m(x)=0Pm(x)=0x=[x1x2...xn]x=\begin{bmatrix}x_1\\ x_2\\ .\\ .\\ .\\ x_n\\ \end{bmatrix}x...
2020-02-19 11:30:32
260
原创 人工智能教程 - 数学基础课程1.6 - 概率论-5-11标准差线,大数定律, 概率公理,条件概率
标准差线 SD Line标准差线通过平均点,它的斜率是当x的值增加一个x标准差,y的值增加一个y标准差The SD line is a line that goes through the point of averages.And it’s slope is that it goes up by one SD of y every time . it goes over by one SD ...
2020-02-17 21:49:51
397
原创 人工智能教程 - 数学基础课程1.6 - 概率论-1-4 定义,直方图,均值,归一化等
概率论概率论是一种处理不确定性的框架(Probability as a mathematical framework for reasoning about uncertainly )Probabilistic models— sample space:1.) “List” (set) of possible outcomes2.) "List"must be :Mutually ...
2020-02-17 11:32:34
415
原创 人工智能教程 - 数学基础课程1.1 - 数学分析（一）34-35 泰勒级数
泰勒级数Center of mass of N+1 blocksX-coordinatePower Series|x|<1 (geometric series)(converge)Resoning incomplete because it requires S existsGeneral Power Series|x|<R(radius of convergence...
2020-02-17 11:28:33
218
原创 人工智能教程 - 数学基础课程1.1 - 数学分析（一）32-33 反常积分,无穷级数和收敛判断
反常积分dealing with infinity∞∞→(a=±∞L=±∞)\LARGE \frac{\infty}{\infty}\rightarrow\binom{a=\pm \infty}{L=\pm \infty}∞∞→(L=±∞a=±∞) are OK!IF {f(x)→∞g(x)→∞f′(x)/g′(x)→L\left\{\begin{matrix} f(x)\rightar...
2020-02-17 10:35:36
351
原创 人工智能教程 - 数学基础课程1.1 - 数学分析（一）-28-31 参数方程,极坐标,不定型和洛必达法则
参数方程弧长和表面积斜边长度平方 (hypotenuse)(ΔS)2=(Δx)2+(Δy)2(\Delta S)^2 = (\Delta x)^2 +(\Delta y)^2(ΔS)2=(Δx)2+(Δy)2(dS)2=(dx)2+(dy)2(dS)^2 = (d x)^2 +(d y)^2(dS)2=(dx)2+(dy)2simplify: dS2=dx2+dy2dS^2 =...
2020-02-17 10:18:19
254
原创 人工智能教程 - 数学基础课程1.1 - 数学分析（一）26-27 部分分式,分部积分,归纳法,递归序列
部分分式(Partial fractions)P(x)Q(x)=rational function\large \frac{P(x)}{Q(x)}=rational \ \ functionQ(x)P(x)=rational function（有理数）=ratio of two polynomialsSplits P/Q INTO “EASIER”...
2020-02-17 09:44:18
494
原创 人工智能教程 - 数学基础课程1.1 - 数学分析（一）-25 反向变量替换，配方
反向变量替换，配方sec=1cos tan=sincos\large sec = \frac{1}{cos} \ \ \ tan = \frac{sin}{cos}sec=cos1 tan=cossincsc=1sin cot=cossincsc = \frac{1}{sin} \ \ \...
2020-02-17 08:39:37
246
原创 人工智能教程 - 数学基础课程1.1 - 数学分析（一）22-24 数值积分,三角函数的积分
数值积分DART BOARD 圆靶Assumption1hits=ce−r2hits=ce^{-r^2}hits=ce−r2r1<r=x<r2r_1<r=x<r_2r1<r=x<r2Shells:Part=∫r1r2(2πr)e−r2drPart = \int_{r_1}^{r_2}(2 \pi r)e^{-r^2}drPart=∫r1r2...
2020-02-17 08:27:00
303
原创 人工智能教程 - 数学基础课程1.1 - 数学分析（一）18-21 微积分第二定理,应用,壳层法,加权平均
微积分第二定理Info about F’ΔF=F(b)−F(a),Δx=b−a\Delta F = F(b) -F(a),\Delta x = b-aΔF=F(b)−F(a),Δx=b−aΔF=∫abf(x)dx (FTC1)\Delta F = \int_{a}^{b}f(x) dx \ (FTC1)ΔF=∫abf(x)dx (FTC1)ΔFΔx=1b−a∫abf...
2020-02-17 08:06:07
349
原创 人工智能教程 - 数学基础课程1.1 - 数学分析（一）15-17 微分方程和分离变量,定积分及性质,微积分第一定理
微分方程 differential equationEx:dydx=f(x)\frac{dy}{dx} = f(x)dxdy=f(x)y=∫f(x)dxy= \int f(x) dxy=∫f(x)dxsolved substitutionEx2:(ddx+x)(\frac{d}{dx}+x)(dxd+x)为annihilation operator 湮没算符 in quantum ...
2020-02-17 07:31:49
349
原创 人工智能教程 - 数学基础课程1.1 - 数学分析（一）13-14 mean值,不定积分
Newton’s methodIt works (very)well If |f’| not small and |f’’| not too big and x0 start nearby xand \ x_0 \ start \ nearby \ xand x0 start nearby xf′(x0)=0...
2020-02-16 22:57:01
329
原创 人工智能教程 - 数学基础课程1.1 - 数学分析（一）10-12 最值问题,牛顿法则
最值问题f(x)=x+1x+2 , f′(x)=1(x+2)2≠0f(x) = \frac{x+1}{x+2} \ , \ f'(x) = \frac{1}{(x+2)^2}\neq 0f(x)=x+2x+1 , f′(x)=(x+2)21=0no critical pts!Plot pts x=-2f(−2+)=−2+1−2++2=−10+...
2020-02-16 22:32:10
180
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人