2019年01月_egbert果

08月 01月

原创 1.4.4 随机梯度下降和构建机器学习算法（介绍）

随机梯度下降(stochastic gradient descent SGD)SGD是梯度下降算法的一个扩展机器学习中反复出现的一个问题是好的泛化需要很大的训练集，但大的训练集的计算代价也很大。机器学习中算法中的代价函数通常可以分解成每个样本代价函数的总和。例如，训练数据的负条件对数似然可以写成J(θ)=Ex,y pL(x,y,θ)=1m∑L(x(x),y(i),θ)J(\th...

2019-01-22 22:14:25 609

原创 1.4.3 无监督学习

一个经典的无监督学习任务是找到数据的“最佳”表示，“最佳”可以是不同的表示，但是一般来说是指该表示在比本事表示的信息更简单或者更容易访问而受到一些惩罚或者限制的情况下，尽可能多的保存关于x的信息。有很多方式定义较简单的表示，常见的三种有低维表示，稀疏表示和独立表示主成分分析（PCA）线性代数一章说过，一种降维的手段k均值据类(k-mean)k-均值聚类算法将训练集分为k个靠近彼此的不同样...

2019-01-22 22:12:52 482

原创 1.4.2 监督学习算法

监督学习算法监督学习算法是给定一组输入x和输出y的训练集，学习如何关联输入和输出。概率监督学习（逻辑回归）线性回归中，能够通过求正规方差来找到最佳权重，相比而言，逻辑回归更困难，其最佳权重没有闭解。反之，我们必须最大化对数似然来搜索最优解，通过梯度下降法最小化负对数似然来搜索。# _*_ coding: utf-8 _*_"""根据两门考试成绩，判断是否通过steps:1\ dea...

2019-01-20 16:00:03 787

原创 1.4.1 机器学习基础

深度学习是机器学习的一个分支。机器学习机器学习是一门研究‘学习算法’的学问，所谓学习是指对于任务T和性能度量P，一个计算机程序能够在T上以P衡量的性能随着经验E而自我完善，那我们称这个计算程序在从经验E中学习。任务T ：机器学习应该如何处理样本，样本是指机器学习系统处理的对象或者事件已经量化的特征集合。（分类，回归，机器翻译）性能度量P：评估机器学习算法的能力。模型评估的基...

2019-01-19 14:41:18 683

原创 1.3 数值计算

数值计算通过迭代过程更新解的估计值来解决数学问题的算法，而不是通过解析过程推到出公式来提供正确解的方法。机器学习中常见的包括优化（找到最大化或者最小化函数的参数）和__线性方程组的求解__。下溢: 当接近零的数被四舍五入为零时，发生下溢。上溢：当大量级的数被近似为无穷大时，发生上溢。解决这种问题的方法之一是使用softmax函数softmax(x)i=exp(xi)∑exp(x)sof...

2019-01-15 18:26:18 303

原创 1.2 概率与信息论

import tensorflow as tfimport numpy as npimport scipy.stats as statsimport matplotlib.pyplot as plt 随机变量#tf.random_normal(shape,mean=0.0,stddev=1.0,dtype=tf.float32) #tf.truncated_normal(shape,...

2019-01-12 17:28:41 399

原创 1.1 线性代数

import tensorflow as tfimport numpy as np标量，就是一个单独的数向量，一列数矩阵，一个二维数组张量，tensorflow 中，所有变量用张量tensor表示转置，行列互变a = 10 #标量b = tf.constant(a) # 0阶张量print(a)print(b)A = [1, 2, 3] # 向量B = tf.co...

2019-01-10 11:36:23 382

原创 1、深度学习介绍

图中就是AI，机器学习，深度学习之间的关系如果想学习人工智能，深度学习是一个重要的方面，当然也是其中之一，所以学好深度学习是必须的。在看这本花书之前，我在网易云课堂上看完了吴恩达的《machine learning》，另外网易云课堂的微专业有吴恩达的《深度学习工程师》，配合Coursera上的练习，对deep learning有一定的了解，但看总觉得很不够，所以开始啃这本《花书》。...

2019-01-09 17:32:13 262