二货胖纸的博客

原创 循环神经网络训练时几个参数注意点的笔记

1、词嵌入维度参数（embedding_size）    词嵌入维度刻画了模型表达词汇的能力，对于翻译任务，一般需与数据集的词汇量大小保持一致。在词嵌入维度较小的时候，词汇容易被映射到相近的区域，互相之间缺乏有效区分，进而降低翻译质量。2、迭代次数参数（epoch）     迭代次数的选择主要是需要使神经网络的训练损失值接近或达到最小。一般选择的情况：当给出更多训练次数，神经网

原创 卷积神经网络笔记

一、卷积神经网络基础        · 卷积神经网络（Convolutional Neural Network，简称CNN）：在识别图片上面有着很好的应用。       · CNN是一种空间上共享参数的神经网络，它通过正向和反向传播，自己学习识别物体。它可能有几层网络构成，第一层是抽象层次的最底层，CNN一般把图片中的较小的部分识别成简单的形状，下一层将会上升到更高的抽象层次，一般会识别更

原创 sigmoid公式的求导过程

转载 关于矩阵乘法的重要提醒

关于矩阵乘法的重要提醒左侧矩阵的列数必须等于右侧矩阵的行数。答案矩阵始终与左侧矩阵有相同的行数，与右侧矩阵有相同的列数。顺序很重要：乘法A•B不等于乘法B•A。左侧矩阵中的数据应排列为行，而右侧矩阵中的数据应排列为列。

原创 机器学习总结 选择一个合适的算法

算法的分类收集的一个很实用的思维导图SKlearn的算法地图具体地址：http://scikit-learn.org/stable/tutorial/machine_learning_map/index.html

原创 监督学习五 集成学习

1、集成学习（Ensemble Learning）     （这段内容摘自百度百科）     ※定义：集成学习是使用一系列学习器进行学习，并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器学习方法。     ※思路：在对新的实例进行分类的时候，把若干个单个分类器集成起来，通过对多个分类器的分类结果进行某种组合来决定最终的分类，以取得比单个分类器更好的性能。

原创 监督学习四 基于实例的学习

1、基于实例的学习（instance-based learning）      这应该是机器学习算法中最简单的算法，它不像其他算法需要在样本的基础上建立一般性的推理公式，而是直接通过存储的数据集进行分类或回归学习来得到结果。     它的缺点是对存储空间的需求很大，需要占用的空间直接取决于实例数量的大小，并且预测的时候需要与已知的实例进行比对，运行时间会相对慢。2、饥饿式学习

原创 神经网络 梯度下降算法/delta规则

1、梯度下降算法定义（gradient descent）（摘自百度百科）      梯度下降算法是一种最优化算法，通常用于非线性可分的数据集。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。2、梯度下降算法的核心是微积分，通过迭代以下步骤来获取局部最小值，主要求解过程如下：3、深入梯度下降的讲解，我觉得这篇讲得非常详细，

原创 神经网络 感知器训练算法

感知器训练（perceptron）对象： 单个单元（perceptron unit）用途： 处理线性可分的数据集公式：目的： 设置权值以便获得与预期相同的数据集方式：通过不断地修改权值来实现目的，这里采用给权值W赋予学习速率的方式，但碰到一个问题是原先的实际输出值是跟阈值θ做比较的，这个算法没有办法对θ赋予学习规则，所以需要学习θ，这里引入一个简单的实际学习技巧，把θ视为另一种

原创 监督学习三 神经网络

神经网络是受人类大脑的启发而构建的一种模型，它们在很多方面弥补了机器学习和认知科学之间的空白。1、人工神经网络     人工神经网络是模仿人类大脑的神经网络而构建的一种模型，感知器是神经网络组成单元，也叫神经元。    神经元的组成部分：            · 输入层：X1、X2、X3等，输入数据；            · 权重 ：w1、w2、w3等，

原创 监督学习二 回归和分类

回归和分类是对数据集建模的两种方法，具体使用哪种取决于数据类型属于数值数据还是分类数据。1、回归的定义（Regression）      研究一组随机变量(Y1 ，Y2 ，…，Yi)和另一组(X1，X2，…，Xk)变量之间关系的统计分析方法，又称多重回归分析。通常前者是因变量，后者是自变量。      线性回归：y=mx+b，其中m是斜率（Slope），b是截距（interce

原创 监督学习一 决策树

1、定义：决策树是一种决策结构，其中每个决策都会产生一系列结果以及其他决策；决策树也是一种分类算法，预测模型。在已知各种情况发生概率的情况下，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。2、分类与回归之间的区别       分类：从某种输入映射到某些概念，针对离散型数据，例如性别等。       

原创 机器学习基础 总结笔记

1、sklearn：机器学习的一个包，能够自动在数据中寻找模式并对数据集进行分割

原创 机器学习十三 STD（标准差）在Numpy与Pandas中的不同

在Numpy与Pandas中的标准差求法的不同在于ddof的不同。ddof：贝塞尔（无偏估计）矫正系数。在Pandas中的处理：DataFrame.std(axis=None, skipna=None, level=None, ddof=1, numeric_only=None, **kwargs)→它求的是样本无偏方差在Numpy中的处理：numpy.

原创 机器学习十二 误差原因与模型复杂度

误差原因（Error）：用于测量模型性能的基本指标。在模型预测中，模型可能出现的误差来自两个主要来源，即：因模型无法表示基本数据的复杂度而造成的偏差（bias），或者因模型对训练它所用的有限数据过度敏感而造成的方差（variance）。偏差：准确率和欠拟合如果模型具有足够的数据，但因不够复杂而无法捕捉基本关系，则会出现偏差。这样一来，模型一直会系统地错误表示数据，从而导致准

原创 机器学习十一 评估指标

评估指标（Evaluation Metrics）1、选择合适的指标在构建机器学习模型的时候，首先要选择性能指标，然后测试模型的表现如何。相关的指标有多个，具体取决于我们要解决的问题。在可以选择性能指标之前，首先要认识到机器学习研究的是如何学习根据数据进行预测。在测试模型时，也务必要将数据集分解为训练数据和测试数据。如果不区分训练数据集和测试数据集，则在评估模

原创 机器学习十 交叉验证

交叉验证（Cross Validation）定义（摘自百度百科）：交叉验证的基本思想是把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set or test set),首先用训练集对分类器进行训练,再利用验证集来测试训练得到的模型(model),以此来做为评价分类器的性能指标。目的：为了获

原创 机器学习九 python matplotlib

图形绘制（python matmatplotlib）

原创 机器学习八 异常值

异常值（Outliers）定义：指样本中的个别值,其数值明显偏离它(或他们)所属样本的其余观测值,也称异常数据,离群值。产生异常值的因素：1、传感器故障所引起的

原创 机器学习七 回归分析

回归（Regression）定义（摘自百度百科）：回归分析是一种数学模型。当因变量和自变量为线性关系时，它是一种特殊的线性模型。最简单的情形是一元线性回归，由大体上有线性关系的一个自变量和一个因变量组成；模型是Y=a+bX+ε（X是自变量，Y是因变量，ε是随机误差）。通常假定随机误差的均值为0，方差为σ^2（σ^2﹥0，σ^2与X的值无关）。//若进一步假定随机误差遵从正态分布，就叫做正态线性

原创 数据字典（Python）

1、元组它是一个不可变序列，以圆括号“()”包围的数据集合，不同成员以“,”分隔，元组中数据一旦确立就不能改变。元组是通过下标进行访问的。例如：L=(1,2,3)含0个元素的元组: L = ()含1个元素的元组:L=(1,) 注意有逗号2、数据字典它是一个键值对的集合(map)字典是以大括号“{}”包围的数据集合，是无序的，在字典中通过键来访问成员。

原创 机器学习六 决策树

决策树（Decision Tree）是一种非常常用的分类算法，也是一种预测模型。在已知各种情况发生概率的情况下，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，它代表的是对象属性与对象值之间的一种映射关系。缺点：容易出现过拟

原创 机器学习五 朴素贝叶斯与SVM

0、散点图（scatter diagram）     通常应用于回归分析。散点图中的包含的数据越多，展示的效果更好。1、朴素贝叶斯方法（Naive bayes）      这是一种基于贝叶斯定理与特征条件独立假设的分类方法。 from sklearn.naive_bayes import GaussianNB clf = GaussianNB() cl

原创 机器学习四 数据的差异性

1、数据的差异性      值域：在直方图分布中，值域的值为最大值与最小值相减后的所得值。                  当我们向数据集中添加数据的时候，有时候会改变值域大小。      四分位数（IQR）：公式IQR=Q3-Q1                                        在绘制盒须图的时候经常用到。                  Q

原创 机器学习三 中心测量方法

中心测量方法1、众数（Mode）:在分布中，分组得到频率最高。得到一组区间估计值。                                  均匀分布中不存在众数。                                  多峰分布下，有多个众数存在的情况（比如：双峰分布含有两个众数）。                                 众数出现在二维

原创 机器学习二 python numpy等安装

1、python环境下配置numpy,pandas等     windows用户：     打开命令窗口：win+R→输入cmd命令→输入pip install numpy     备注：pip命令的使用需要在系统变量PATH中添加python安装目录下的scripts目录。     获取最新版本的numpy,pandas等时候，可以使用以下命令：    pip ins

原创 机器学习一 简介

1、机器学习目的      教会计算机根据以往的经验来执行指定的任务。2、决策树      一种预测模型，常用的分类方法。树形结构。    例如：性别和年龄哪个特征对预测用户会下载哪个app更有效？3、朴素贝叶斯      二八原则：在任何一组东西中，最重要的只占其中一小部分，约20%，其余80%尽管是多数，却是次要的。4、梯度下降（最优算法）      问题→过程

原创 计算机导论第五课之程序怎么样运行

ASCII码的转换ord()只适用于单个字符的场合，返回值是数值。char()返回值是字符。print ord('a')#>>>97print chr(ord('a'))#>>>a

原创 计算机导论第四课之响应查询笔记二

1、关于秒、分、时的计算      例如给出一个变量time，单位是秒，拆分成时分秒的形式。 time = 7325 second = time%60 minute = int(time/60)%60 hour = int(time/60/60)      最终结果为：2 hours, 2 minutes, 5 seconds2、关于小数点的计算 

原创 计算机导论第四课之响应查询

1、构建网络索引      数据结构：[[keyword1,[url1,url2,...]],[keyword2,[url3]],...]index=[]def add_to_index(inex,keyword,url): for entry in index: if entry[0]==keyword: entry[1].appe

原创 计算机导论第三课笔记之网络爬虫

1、网络爬虫定义（来自百度百科定义）      网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。2、网络爬虫步骤      首先、获取种子网页链接，并通过种子网页获取所有与种子网页相关的链接。      其次

原创 计算机导论第三课笔记

第一部分、列表（list）1、列表（list）的使用  p=[1,2,3,4]q=['a','b','c']t=['a',1,[3,4],['r','t']]2、列表相关的函数append函数 p=['a','b'] p.append('c')                    p的值变为['a','b','c']

原创 关于秒的换算

1、秒的关系      秒(second)>毫秒(microsecond)>微妙(microsecond)>纳秒(nanosecond)>皮秒(nanosecond) 2、秒的换算      1 秒     =  1,000 毫秒      1 秒     =   1,000,000微秒      1 秒     =   1,000,000,000纳秒      1 秒

原创 系分教程第一章 绪论 笔记一

1.1 信息与信息系统      1984年，美国科学家香农（C.E.Shannon）提出了信息的概念。此后，出现了“信息论”。1.1.1信息的基本概念       信息量的单位：比特（bit）。       信息是系统有序程度的信息量，表现为负熵。       1、信息的特征             客观性、普遍性、无限性、动态性、相对性、依附性、变换性、传递性、层次性、

原创 计算机导论第二课笔记一

1、procedure的使用def test(a,b): c = a+b return c关键字：def。procedure的名称为test。返回值通过关键字return传给procedure。备注：如果没有关键字return，则procedure不返回值。2、判断语句if的使用c=1if a>b: c=aelse: c=

原创 计算机导论第一课笔记二（使用PYTHON）

字符串相关的问题1、四舍五入的问题# x = 3.14159 # >>> 3 (not 3.0)# x = 27.63 # >>> 28 (not 28.0)# x = 3.5 # >>> 4 (not 4.0)x = 3.14159num = x + 0.5b = str(num)a = b.find('.')print b[:a]显示内容为3。

原创 计算机导论学习第一课笔记

第一部分、字符串学习（使用PYTHON）1、字符串+数字的情况 print 'apple'+'!'*3显示内容：apple!!!2、索引字符串#显示内容：tprint 'test'[0]#显示内容：末尾的‘t’print 'test'[-1]3、选择字符串的子序列#显示内容：estprint 'test'[1:]#不显示任何内容print