机器学习
文章平均质量分 83
haoyutiangang
这个作者很懒,什么都没留下…
展开
-
深度学习系列-目录
引言深度学习系列从神经元、神经网络聊到深度神经网络、卷积神经网络,尽量用大白话畅聊大数据技术,力图通俗易懂且干货满满。深度学习系列1:从线性回归说起深度学习系列2:聊聊逻辑回归深度学习系列3:神经网络那些事儿深度学习系列4:深度神经网络(DNN),夜空中最亮的星深度学习系列5:卷积神经网络(CNN),图像识别的利器深度学习系列6:卷积神经网络的反向传播...原创 2020-04-05 22:07:20 · 475 阅读 · 0 评论 -
深度学习系列6:卷积神经网络的反向传播
引言卷积神经网络一般会借助 TensorFlow 或者 PaddlePaddle 来开发,仅需要开发正向传播,反向传播会自动生成,所以一般不要求掌握。但是技多不压身,今天我们还是来聊一下卷积神经网络的反向传播。一、卷积神经网络如图所示,卷积神经网络先由若干个卷积和池化层进行局部特征识别和降维,之后再用若干全连接层去分类。每个卷积层+池化层作为一组,提取局部特征并降低维度经过几组后,图...原创 2020-04-05 21:40:36 · 3558 阅读 · 5 评论 -
深度学习系列5:卷积神经网络(CNN),图像识别的利器
引言近年来,图像识别和人脸识别已经逐步进入我们的生活。今天我们就来聊聊图像识别的技术–卷积神经网络(CNN)一、图像识别图像识别是指让计算机通过学习识别出图像的内容或者内容所属种类,比如识别图像中有没有汽车,识别图像中的人是谁等等。1.1 图像的计算机表示图像是通过一个个像素组成的,图像有宽和高,比如宽度 200 像素,高度 100 像素。每个像素都有颜色,如果是灰色图像,只需要描述...原创 2020-03-23 22:14:42 · 5343 阅读 · 2 评论 -
深度学习系列4:深度神经网络(DNN),夜空中最亮的星
引言深度学习(DNN) 功能之强、应用之广,可以说是机器学习里最亮的星。其实深度学习就是深度神经网络(Deep Neural Networks),也就是层次比较多的神经网络,今天我们一起来会会它。一、深度神经网络概述深度神经网络包括输入层、多个隐含层和输出层,每层含有多个节点。每个节点都是一个算法神经元,从上层接收多个输入,按权重加和再用激活函数生成输出,而这个输出又作为下一层的输入。...原创 2020-03-23 00:36:12 · 808 阅读 · 0 评论 -
深度学习系列3:神经网络那些事儿
引言神经网络可以说是这几年最火的机器学习算法了。今天的大数据茶馆,咱们就一起聊聊神经网络那些事儿。一、神经网络的概念所谓神经网络就是一个个神经元组成的网络。下面我们看看神经元,大脑神经元和算法神经元有什么相通的地方。1.1 大脑神经元大脑神经元结构如图所示,有多个树突和一个轴突,树突用来接收信号,轴突用来输出信号。神经元从多个树突接收信号,然后综合这些信号激活产生一个输出信号,通过轴...原创 2020-03-21 20:13:08 · 368 阅读 · 0 评论 -
深度学习系列2:聊聊逻辑回归
引言在线性回归中,输出是连续的。而在逻辑回归中,输出非 0 即 1,解决的是二分类的问题。比如某套房子是否适合购买,明天是否有雨等。逻辑回归回顾线性回归的方程:Y1m=W1n∗Xnm+bY_{1m} = W_{1n} * X_{nm} + bY1m=W1n∗Xnm+b其中:nnn 表示变量维度mmm 表示样本个数XXX 表示变量矩阵WWW 表示权重矩阵b 表示偏移...原创 2020-03-20 12:30:10 · 388 阅读 · 0 评论 -
深度学习系列1:从线性回归说起
引言神经网络开篇先从线性回归和逻辑回归说起起,这次先说线性回归,下次再说说逻辑回归。一元线性回归你的朋友问你,在海淀区买一套 60 平米左右的小两居需要多少钱?你该如何回答他呢。负责任的你并没有冒然回答,而是从网上找了一些房子的数据,建立了下面的表格。并根据表格中的数据做出了下图图中每个点代表一条数据,如果可以找到图中红线所示拟合各个数据点的线性方程 y = wx + b, 然后...原创 2020-03-19 15:56:39 · 410 阅读 · 0 评论 -
决策树系列-目录
决策树系列1:聊聊信息熵决策树系列2:决策树是何许人也决策树系列3:信息增益、增益率、基尼系数 (史上最详尽)决策树系列4:随机森林 (三个臭皮匠顶个诸葛亮)决策树系列5:AdaBoost 竟如此简单决策树系列6:XGBoost, 机器学习的大杀器...原创 2020-03-17 20:49:43 · 411 阅读 · 0 评论 -
决策树系列6:XGBoost, 机器学习的大杀器
引言XGBoost 自诞生以来,就屡次在国际机器学习大赛中摘取桂冠,风头隐隐有超过深度学习之势,堪称机器学习的"大杀器"。今天我们就来揭开 XGBoost 的神秘面纱,瞧瞧它的庐山真面目。一、XGBoost 简介XGBoost 跟上一篇的 AdaBoost 都属于集成学习的范畴,即利用多个弱学习器组成最终的强学习器。说到 XGBoost 不得不提 GBDT(Gradient Boosti...原创 2020-03-15 20:38:32 · 436 阅读 · 0 评论 -
决策树系列5:AdaBoost 竟如此简单
引言AdaBoost 其实很简单,就像我们参加模拟考试。比如我们高考前要模拟考试10次,每次模拟完都需要分析各科的强弱,然后有针对性的复习,提升弱势科目,准备下一次模拟考试。第一次考完发现物理化学较弱,复习时就给物理化学多一些时间。第二次发现物理化学上去了,数学又相对较弱,复习时就多给数学一些时间。依次类推,每次把相对较弱的科目多用些时间。通过这十次模拟考试,相信我们的综合成绩会有...原创 2020-03-12 20:54:37 · 559 阅读 · 1 评论 -
决策树系列4:随机森林 (三个臭皮匠顶个诸葛亮)
引言想了解一个人的人品一般询问多个熟悉他的人,而不是只问一个人,毕竟一个人的评价难免有失偏颇。对于决策树也是一样,单一的决策树有时候会过拟合,有时候效果不太理想。而随机森林就是利用多棵决策树共同做决策。毕竟三个臭皮匠顶个诸葛亮嘛。随机森林随机森林主要利用了 bagging 的思想,也就是多个学习器并行学习,共同预测结果。随机森林有多棵决策树,每棵决策树并行独立训练。预测时每个决策树都预测...原创 2020-03-11 19:01:07 · 1199 阅读 · 0 评论 -
决策树系列3:信息增益、增益率、基尼系数 (史上最详尽)
引言上回说道,决策树最核心的部分是如何选择最优划分属性,今天我们看看经典的三种最优划分算法。本次内容是决策树的核心,《大数据茶馆》力求做到通俗的前提下推导细致、循序渐进、全程举例,希望可以帮助大家彻底理解这三种方法的来龙去脉。决策树回顾上一篇文章的例子中,小明和小亮根据各个属性判断是否适合打球列了表格,并给出了一棵决策树。如上篇文章所说,第一个节点选择场地进行分支划分一下子决策了...原创 2020-03-09 17:18:49 · 28047 阅读 · 5 评论 -
决策树系列2:决策树是何许人也
引言今天的《大数据茶馆》我们来聊聊决策树是何许人也。它能解决什么问题,是怎么解决这些问题的?从一个例子说起放暑假了,小明和小亮约了每天下午一起打网球,但是由于一些原因,有些天他们并没有成行。今天他们把这几天的情况和是否适合打球列了一张表格。希望从这张表格中可以找到一个综合各个因素得出是否适合打球的规律,这样今后约球时只需把各个因素输入进去,就知道是否适合打球而不需要纠结思考了。从这个...原创 2020-03-08 17:13:18 · 639 阅读 · 0 评论 -
决策树系列1:聊聊信息熵
引言这是《大数据茶馆》的第一篇文章,既然要聊决策树,就绕不开信息熵,一般决策树说到熵的时候都会说熵是反映事件的不确定性,然后给出下面这个公式。−∑i=1np(x) log q(x)\\- \sum_{i=1}^n p(x)\,log\,q(x) −i=1∑np(x)logq(x)但这个公式的原理是什么,应该怎么理解,负号又是怎么回事?今天这篇文章,我们就一起聊聊到底什么是信息熵,希望可...原创 2020-03-08 16:43:05 · 1108 阅读 · 1 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (1-4) 深层神经网络--课程笔记
相关课件:https://download.csdn.net/download/haoyutiangang/10369632深层神经网络深层神经网络就是有更多个隐藏层的神经网络 矩阵的维度矩阵维度和矩阵导数的维度一致X^{[l]}: (n^{[l]}, m)W^{[l]}: (n^{[l]}, n{[l-1]})dW^{[l]} = W^{[l]}...原创 2018-05-31 08:33:56 · 563 阅读 · 0 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (5-1) 循环序列模型--编程作业(三):利用LSTM即兴创作Jazz
Part 3: 利用LSTM即兴创作Jazz欢迎来到本周的最后一个作业!在这个作业中,你将利用LSTM建立一个生成音乐的模型。在作业的最后你将可以听到你自己的音乐。你将学会:在音乐生成中使用 LSTM利用深度学习生成你的 jazz 音乐导包from __future__ import print_functionimport IPythonimport s...原创 2018-07-25 09:32:33 · 2832 阅读 · 1 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (4-4) 人脸识别和神经风格转换--编程作业
Part 1:Happy House 的人脸识别本周的第一个作业我们将完成一个人脸识别系统。人脸识别问题可以分为两类:人脸验证: 输入图片,验证是不是A 1:1 识别举例:人脸解锁手机,人脸刷卡人脸识别: 有一个库,输入图片,验证是不是库里的一员 1:K 识别举例:员工门禁FaceNet 通过神经网络学习将图片编码为128维数字向量。通过比较两个128维向量的相似度来...原创 2018-07-20 08:33:45 · 5667 阅读 · 9 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (5-2) 自然语言处理与词嵌入--课程笔记
2.1 词汇表征前面内容中,我们直接使用英文单词来表征词汇,但是对于计算机来说,是无法直接认识单词的。为了让计算机能够能更好地理解我们的语言,建立更好的语言模型。这就需要将词汇进行表征。下面是几种不同的词汇表征方式。one-hot 表征利用one-hot向量,将单词表示为词典大小的向量,字典中对应该单词的位置为1,其余位置为0。缺点:将每个词孤立了起来,泛化能力不强...原创 2018-07-26 09:03:45 · 1401 阅读 · 0 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (5-2) 自然语言处理与词嵌入--编程作业(一):词向量运算
Part 1: 词向量运算欢迎来到本周第一个作业。由于词嵌入的训练计算量庞大切耗费时间长,绝大部分机器学习人员都会导入一个预训练的词嵌入模型。你将学到:加载预训练单词向量,使用余弦测量相似度使用词嵌入解决类别问题,比如 “Man is to Woman as King is to __”修改文字嵌入以减少他们的性别偏见导包import numpy as npf...原创 2018-07-26 09:13:13 · 1495 阅读 · 0 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (5-2) 自然语言处理与词嵌入--编程作业(二):Emojify表情包
Part 2: Emojify欢迎来到本周的第二个作业,你将利用词向量构建一个表情包。你有没有想过让你的短信更具表现力? emojifier APP将帮助你做到这一点。 所以不是写下”Congratulations on the promotion! Lets get coffee and talk. Love you!” emojifier可以自动转换为 “Congratulations...原创 2018-07-26 09:20:38 · 1816 阅读 · 1 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (5-3) 序列模型和注意力机制--课程笔记
3.1 基础模型sequence to sequencesequence to sequence:两个序列模型组成,前半部分叫做编码,后半部分叫做解码。用于机器翻译。 image to sequencesequence to sequence:一个卷积神经网络和一个序列模型组成,前半部分叫做编码,后半部分叫做解码。用于图片描述。 3.2 选择最可能的句子语言模型:...原创 2018-07-27 09:15:43 · 747 阅读 · 0 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (5-3) 序列模型和注意力机制--编程作业(一):机器翻译
Part 1: 机器翻译欢迎来到本周第一个作业。你将建立一个将人类可读日期(“2009年6月25日”)转换为机器可读日期(“2009-06-25”)的神经机器翻译(NMT)模型。 你将使用注意力机制来执行此操作,这是模型序列中最尖端的一个序列。导包from keras.layers import Bidirectional, Concatenate, Permute, Dot,...原创 2018-07-27 09:37:44 · 2109 阅读 · 0 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (5-3) 序列模型和注意力机制--编程作业(二):触发字检测
Part 2: 触发字检测关键词语音唤醒触发字检测欢迎来到这个专业课程的最终编程任务!在本周的视频中,你了解了如何将深度学习应用于语音识别。在本作业中,您将构建一个语音数据集并实现触发字检测算法(有时也称为关键字检测或唤醒检测)。触发字检测技术,可以让亚马逊Alexa,Google Home,Apple Siri和百度DuerOS等设备在听到某个词语时进行唤醒。本练习中,我...原创 2018-07-27 09:49:50 · 3619 阅读 · 0 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai 目录
第一部分 深度学习概论(1-1) 深度学习概论–课程笔记 (1-1) 深度学习概论–编程作业 (1-2) 神经网络基础–课程笔记 (1-2) 神经网络基础–编程作业 (1-3) 浅层神经网络–课程笔记 (1-3) 浅层神经网络–编程作业 (1-4) 深层神经网络–课程笔记 (1-4) 深层神经网络–编程作业 第二部分 深度学习及其优化(2-1) 深度学习实践–课程笔记 ...原创 2019-01-22 19:20:08 · 2634 阅读 · 0 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (5-1) 循环序列模型--编程作业(二):字母级别的语言模型 - 恐龙岛
Part 2:字母级别的语言模型 - 恐龙岛欢迎来到恐龙岛! 6500万年前,恐龙就存在了。在这项任务中他们又回来了。 现在你负责一项特殊任务。领先的生物学研究人员正在创造新的恐龙种类并将它们带到地球上,您的工作就是为这些恐龙命名。如果一只恐龙不喜欢它的名字,它可能会被人误认,所以请明智地选择!幸运的是,你已经学会了一些深度学习,你会用它来拯救这一天。 你的助手收集了他们可以找到的所有...原创 2018-07-25 09:20:53 · 1689 阅读 · 0 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (4-3) 目标检测--课程笔记
3.1 目标定位图片检测问题分类问题:判断图中是否为汽车;目标定位:判断是否为汽车,并确定具体位置(框起来);目标检测:检测不同物体并定位。图片定位的神经网络结构假设我们要定位图片中:行人,汽车,摩托以及背景(没有符合条件的)并定位。假设每张图片上只能出现一个目标。标记四类存在与否,定位需要定位目标中心坐标(b_x, b_y)以及图片的高度(b_h)和宽度...原创 2018-07-13 08:24:22 · 1019 阅读 · 0 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (2-2) 优化算法--编程作业
初始化导包import numpy as npimport matplotlib.pyplot as pltimport scipy.ioimport mathimport sklearnimport sklearn.datasetsfrom opt_utils import load_params_and_grads, initialize_parameters, ...原创 2018-06-23 21:55:34 · 770 阅读 · 0 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (2-2) 优化算法--课程笔记
2.1 Mini-batch 梯度下降法原因: 大数据集时,执行一次循环时间很长,梯度下降很慢;mini-batch 是指将大数据集 n分成一系列小数据集m,每计算一个小数据集就执行一次梯度下降,这样一次大数据集的计算可以下降n/m 次,从而增加梯度下降的速度。执行一次小数据集为一次 mini-batch执行一次大数据集为一次 epochmini-batch 使用上角标{i}...原创 2018-06-23 21:36:36 · 587 阅读 · 0 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (2-1) 深度学习实践--编程作业
初始化一个好的初始化可以做到: - 梯度下降的快速收敛 - 收敛到的对训练集只有较少错误的值加载数据import numpy as npimport matplotlib.pyplot as pltimport sklearnimport sklearn.datasetsfrom init_utils import sigmoid, relu, compute_lo...原创 2018-05-31 21:23:35 · 1654 阅读 · 1 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (2-1) 深度学习实践--课程笔记
2.1 训练 / 开发 / 测试集训练集:训练数据模型开发验证集:选择最好的模型无偏评估算法的运行状况数据划分比例 - 小数据量(10-10000):60/20/20 - 大数据量(1000000) : 98/1/1 - 超大数据量: 99.5/0.25/0.25 应该确保开发验证集与测试集来自同一分布。 在不需要无偏评估的时候可以没有测试集,只有训练集和开...原创 2018-05-31 21:20:26 · 550 阅读 · 0 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (1-4) 深层神经网络--编程作业
可执行源码:https://download.csdn.net/download/haoyutiangang/10369640逐步建立深层神经网络1 导包numpy 科学计算matplotlib 画图dnn_utils 提供了一些有用的方法testCases 提供了相关方法的一些测试用例np.random.seed(1) 保持随机函数一致性import ...原创 2018-05-31 08:35:58 · 3736 阅读 · 0 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (1-3) 浅层神经网络--编程作业
可执行源码:https://download.csdn.net/download/haoyutiangang/10369628一个隐含层的数据分类1 导包numpy: 科学计算sklearn: 数据挖掘和数据分析matplotlib: 画图testCases_v2: 评估方法正确性的例子planar_utils:本文的一些有用的方法# Package i...原创 2018-04-25 09:32:21 · 1064 阅读 · 1 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (1-3) 浅层神经网络--课程笔记
相关课件:https://download.csdn.net/download/haoyutiangang/10369626神经网络表示Z = WX + ba=Ŷ =sigmoid(Z)a=Y^=sigmoid(Z)a = \hat Y = sigmoid(Z) 有时把输入 X 表示为 a[0]上标中括号表示第几层(不算输入层) a[1], a[2]上标小括...原创 2018-04-25 09:29:36 · 532 阅读 · 0 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (1-2) 神经网络基础--编程作业
可执行源码:https://download.csdn.net/download/haoyutiangang/10369625Part 1: Python 基础工具包 Numpy1 用numpy实现基本方法1.1 sigmoid 方法 与 np.exp()利用 np.exp() 方法实现sigmoid方法sigmoid(t)=11+e−t−−−−−−−−...原创 2018-04-23 23:54:08 · 1205 阅读 · 0 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (1-2) 神经网络基础--课程笔记
相关课件:https://download.csdn.net/download/haoyutiangang/10369622本周课程主要讲的是逻辑回归,因为之后的神经网络模型和逻辑回归类似。二分分类比如用多张图片训练来预测图片中是否有猫。符号表示:单个样本: (x, y)样本数量: m第 i 个样本: x^(i) 训练集: m = m_train测试集: m ...原创 2018-04-23 23:45:58 · 587 阅读 · 0 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (1-1) 深度学习概论--编程作业
作业原创 2018-04-23 23:27:11 · 644 阅读 · 0 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (2-3) 超参数调试、Batch 正则化和程序框架--课程笔记
3.1 调试处理参数少时网格点参数多时网络随机点定位小区域后再在小区域进行网络随机点3.2 为超参数选择合适的范围选择超参数时在一定范围内均匀随机取值,比如神经元节点个数,隐藏层的层数等有些超参数不适合均匀随机取值,我们需要做变换后再进行均匀随机取值,然后再变换回去,最常用的是指数变换和对数变换例如:学习率 αα\alpha 范围为0.0001,…,1 此时均匀随...原创 2018-06-24 16:53:44 · 375 阅读 · 0 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (2-3) TensorFlow Tutorial--编程作业
TensorFlow Tutorial1. 探索TensorFlow lib库导包import mathimport numpy as npimport h5pyimport matplotlib.pyplot as pltimport tensorflow as tffrom tensorflow.python.framework import opsfrom...原创 2018-06-24 17:06:19 · 1794 阅读 · 0 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (5-1) 循环序列模型--编程作业(一):构建循环神经网络
Part 1: 构建神经网络欢迎来到本周的第一个作业,这个作业我们将利用numpy实现你的第一个循环神经网络。循环神经网络(Recurrent Neural Networks: RNN) 因为有”记忆”,所以在自然语言处理(Natural Language Processing) 和其他序列化任务中非常有效。RNN每次读取序列中的一个输入x<t>x<t>x^{} (...原创 2018-07-24 09:10:01 · 2129 阅读 · 1 评论 -
吴恩达Coursera深度学习课程 deeplearning.ai (5-1) 循环序列模型--课程笔记
1.1 为什么选择序列模型序列模型的应用语音识别:将输入的语音信号直接输出相应的语音文本信息。无论是语音信号还是文本信息均是序列数据。音乐生成:生成音乐乐谱。只有输出的音乐乐谱是序列数据,输入可以是空或者一个整数。情感分类:将输入的评论句子转换为相应的等级或评分。输入是一个序列,输出则是一个单独的类别。DNA序列分析:找到输入的DNA序列的蛋白质表达的子序列。机器翻译:两种不...原创 2018-07-24 08:55:03 · 709 阅读 · 0 评论