haoyutiangang-CSDN博客

原创深度学习系列-目录

引言深度学习系列从神经元、神经网络聊到深度神经网络、卷积神经网络，尽量用大白话畅聊大数据技术，力图通俗易懂且干货满满。深度学习系列1：从线性回归说起深度学习系列2：聊聊逻辑回归深度学习系列3：神经网络那些事儿深度学习系列4：深度神经网络(DNN)，夜空中最亮的星深度学习系列5：卷积神经网络(CNN)，图像识别的利器深度学习系列6：卷积神经网络的反向传播...

2020-04-05 22:07:20 468

原创决策树系列-目录

决策树系列1：聊聊信息熵决策树系列2：决策树是何许人也决策树系列3：信息增益、增益率、基尼系数 (史上最详尽)决策树系列4：随机森林 (三个臭皮匠顶个诸葛亮)决策树系列5：AdaBoost 竟如此简单决策树系列6：XGBoost, 机器学习的大杀器...

2020-03-17 20:49:43 407

原创吴恩达Coursera深度学习课程 deeplearning.ai 目录

第一部分深度学习概论(1-1) 深度学习概论–课程笔记 (1-1) 深度学习概论–编程作业 (1-2) 神经网络基础–课程笔记 (1-2) 神经网络基础–编程作业 (1-3) 浅层神经网络–课程笔记 (1-3) 浅层神经网络–编程作业 (1-4) 深层神经网络–课程笔记 (1-4) 深层神经网络–编程作业第二部分深度学习及其优化(2-1) 深度学习实践–课程笔记 ...

2019-01-22 19:20:08 2626

原创深度学习系列6：卷积神经网络的反向传播

引言卷积神经网络一般会借助 TensorFlow 或者 PaddlePaddle 来开发，仅需要开发正向传播，反向传播会自动生成，所以一般不要求掌握。但是技多不压身，今天我们还是来聊一下卷积神经网络的反向传播。一、卷积神经网络如图所示，卷积神经网络先由若干个卷积和池化层进行局部特征识别和降维，之后再用若干全连接层去分类。每个卷积层+池化层作为一组，提取局部特征并降低维度经过几组后，图...

2020-04-05 21:40:36 3545 5

原创深度学习系列5：卷积神经网络(CNN)，图像识别的利器

引言近年来，图像识别和人脸识别已经逐步进入我们的生活。今天我们就来聊聊图像识别的技术–卷积神经网络(CNN)一、图像识别图像识别是指让计算机通过学习识别出图像的内容或者内容所属种类，比如识别图像中有没有汽车，识别图像中的人是谁等等。1.1 图像的计算机表示图像是通过一个个像素组成的，图像有宽和高，比如宽度 200 像素，高度 100 像素。每个像素都有颜色，如果是灰色图像，只需要描述...

2020-03-23 22:14:42 5323 2

原创深度学习系列4：深度神经网络(DNN)，夜空中最亮的星

引言深度学习(DNN) 功能之强、应用之广，可以说是机器学习里最亮的星。其实深度学习就是深度神经网络(Deep Neural Networks)，也就是层次比较多的神经网络，今天我们一起来会会它。一、深度神经网络概述深度神经网络包括输入层、多个隐含层和输出层，每层含有多个节点。每个节点都是一个算法神经元，从上层接收多个输入，按权重加和再用激活函数生成输出，而这个输出又作为下一层的输入。...

2020-03-23 00:36:12 803

原创深度学习系列3：神经网络那些事儿

引言神经网络可以说是这几年最火的机器学习算法了。今天的大数据茶馆，咱们就一起聊聊神经网络那些事儿。一、神经网络的概念所谓神经网络就是一个个神经元组成的网络。下面我们看看神经元，大脑神经元和算法神经元有什么相通的地方。1.1 大脑神经元大脑神经元结构如图所示，有多个树突和一个轴突，树突用来接收信号，轴突用来输出信号。神经元从多个树突接收信号，然后综合这些信号激活产生一个输出信号，通过轴...

2020-03-21 20:13:08 365

原创深度学习系列2：聊聊逻辑回归

引言在线性回归中，输出是连续的。而在逻辑回归中，输出非 0 即 1，解决的是二分类的问题。比如某套房子是否适合购买，明天是否有雨等。逻辑回归回顾线性回归的方程：Y1m=W1n∗Xnm+bY_{1m} = W_{1n} * X_{nm} + bY1m=W1n∗Xnm+b其中：nnn 表示变量维度mmm 表示样本个数XXX 表示变量矩阵WWW 表示权重矩阵b 表示偏移...

2020-03-20 12:30:10 385

原创深度学习系列1：从线性回归说起

引言神经网络开篇先从线性回归和逻辑回归说起起，这次先说线性回归，下次再说说逻辑回归。一元线性回归你的朋友问你，在海淀区买一套 60 平米左右的小两居需要多少钱？你该如何回答他呢。负责任的你并没有冒然回答，而是从网上找了一些房子的数据，建立了下面的表格。并根据表格中的数据做出了下图图中每个点代表一条数据，如果可以找到图中红线所示拟合各个数据点的线性方程 y = wx + b, 然后...

2020-03-19 15:56:39 405

原创决策树系列6：XGBoost, 机器学习的大杀器

引言XGBoost 自诞生以来，就屡次在国际机器学习大赛中摘取桂冠，风头隐隐有超过深度学习之势，堪称机器学习的"大杀器"。今天我们就来揭开 XGBoost 的神秘面纱，瞧瞧它的庐山真面目。一、XGBoost 简介XGBoost 跟上一篇的 AdaBoost 都属于集成学习的范畴，即利用多个弱学习器组成最终的强学习器。说到 XGBoost 不得不提 GBDT(Gradient Boosti...

2020-03-15 20:38:32 433

原创决策树系列5：AdaBoost 竟如此简单

引言AdaBoost 其实很简单，就像我们参加模拟考试。比如我们高考前要模拟考试10次，每次模拟完都需要分析各科的强弱，然后有针对性的复习，提升弱势科目，准备下一次模拟考试。第一次考完发现物理化学较弱，复习时就给物理化学多一些时间。第二次发现物理化学上去了，数学又相对较弱，复习时就多给数学一些时间。依次类推，每次把相对较弱的科目多用些时间。通过这十次模拟考试，相信我们的综合成绩会有...

2020-03-12 20:54:37 556 1

原创决策树系列4：随机森林 (三个臭皮匠顶个诸葛亮)

引言想了解一个人的人品一般询问多个熟悉他的人，而不是只问一个人，毕竟一个人的评价难免有失偏颇。对于决策树也是一样，单一的决策树有时候会过拟合，有时候效果不太理想。而随机森林就是利用多棵决策树共同做决策。毕竟三个臭皮匠顶个诸葛亮嘛。随机森林随机森林主要利用了 bagging 的思想，也就是多个学习器并行学习，共同预测结果。随机森林有多棵决策树，每棵决策树并行独立训练。预测时每个决策树都预测...

2020-03-11 19:01:07 1192

原创决策树系列3：信息增益、增益率、基尼系数 (史上最详尽)

引言上回说道，决策树最核心的部分是如何选择最优划分属性，今天我们看看经典的三种最优划分算法。本次内容是决策树的核心，《大数据茶馆》力求做到通俗的前提下推导细致、循序渐进、全程举例，希望可以帮助大家彻底理解这三种方法的来龙去脉。决策树回顾上一篇文章的例子中，小明和小亮根据各个属性判断是否适合打球列了表格，并给出了一棵决策树。如上篇文章所说，第一个节点选择场地进行分支划分一下子决策了...

2020-03-09 17:18:49 27992 5

原创决策树系列2：决策树是何许人也

引言今天的《大数据茶馆》我们来聊聊决策树是何许人也。它能解决什么问题，是怎么解决这些问题的？从一个例子说起放暑假了，小明和小亮约了每天下午一起打网球，但是由于一些原因，有些天他们并没有成行。今天他们把这几天的情况和是否适合打球列了一张表格。希望从这张表格中可以找到一个综合各个因素得出是否适合打球的规律，这样今后约球时只需把各个因素输入进去，就知道是否适合打球而不需要纠结思考了。从这个...

2020-03-08 17:13:18 636

原创决策树系列1：聊聊信息熵

引言这是《大数据茶馆》的第一篇文章，既然要聊决策树，就绕不开信息熵，一般决策树说到熵的时候都会说熵是反映事件的不确定性，然后给出下面这个公式。−∑i=1np(x) log q(x)\\- \sum_{i=1}^n p(x)\,log\,q(x) −i=1∑np(x)logq(x)但这个公式的原理是什么，应该怎么理解，负号又是怎么回事？今天这篇文章，我们就一起聊聊到底什么是信息熵，希望可...

2020-03-08 16:43:05 1101 1

简介本文主要介绍hive中的窗口函数.hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于olap分析概念我们都知道在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的.但是有时我们想要既显示聚集前的数据,又要显示聚集后的数据,这时我们便引入了窗口...

2019-05-05 14:42:38 1023

原创吴恩达Coursera深度学习课程 deeplearning.ai (5-3) 序列模型和注意力机制--编程作业(二)：触发字检测

Part 2: 触发字检测关键词语音唤醒触发字检测欢迎来到这个专业课程的最终编程任务！在本周的视频中，你了解了如何将深度学习应用于语音识别。在本作业中，您将构建一个语音数据集并实现触发字检测算法（有时也称为关键字检测或唤醒检测）。触发字检测技术，可以让亚马逊Alexa，Google Home，Apple Siri和百度DuerOS等设备在听到某个词语时进行唤醒。本练习中，我...

2018-07-27 09:49:50 3609

原创吴恩达Coursera深度学习课程 deeplearning.ai (5-3) 序列模型和注意力机制--编程作业(一)：机器翻译

Part 1: 机器翻译欢迎来到本周第一个作业。你将建立一个将人类可读日期（“2009年6月25日”）转换为机器可读日期（“2009-06-25”）的神经机器翻译（NMT）模型。你将使用注意力机制来执行此操作，这是模型序列中最尖端的一个序列。导包from keras.layers import Bidirectional, Concatenate, Permute, Dot,...

2018-07-27 09:37:44 2103

原创吴恩达Coursera深度学习课程 deeplearning.ai (5-3) 序列模型和注意力机制--课程笔记

3.1 基础模型sequence to sequencesequence to sequence：两个序列模型组成，前半部分叫做编码，后半部分叫做解码。用于机器翻译。 image to sequencesequence to sequence：一个卷积神经网络和一个序列模型组成，前半部分叫做编码，后半部分叫做解码。用于图片描述。 3.2 选择最可能的句子语言模型：...

2018-07-27 09:15:43 742

原创吴恩达Coursera深度学习课程 deeplearning.ai (5-2) 自然语言处理与词嵌入--编程作业(二)：Emojify表情包

Part 2: Emojify欢迎来到本周的第二个作业，你将利用词向量构建一个表情包。你有没有想过让你的短信更具表现力？ emojifier APP将帮助你做到这一点。所以不是写下”Congratulations on the promotion! Lets get coffee and talk. Love you!” emojifier可以自动转换为 “Congratulations...

2018-07-26 09:20:38 1808 1

原创吴恩达Coursera深度学习课程 deeplearning.ai (5-2) 自然语言处理与词嵌入--编程作业(一)：词向量运算

Part 1: 词向量运算欢迎来到本周第一个作业。由于词嵌入的训练计算量庞大切耗费时间长，绝大部分机器学习人员都会导入一个预训练的词嵌入模型。你将学到：加载预训练单词向量，使用余弦测量相似度使用词嵌入解决类别问题，比如 “Man is to Woman as King is to __”修改文字嵌入以减少他们的性别偏见导包import numpy as npf...

2018-07-26 09:13:13 1487

原创吴恩达Coursera深度学习课程 deeplearning.ai (5-2) 自然语言处理与词嵌入--课程笔记

2.1 词汇表征前面内容中，我们直接使用英文单词来表征词汇，但是对于计算机来说，是无法直接认识单词的。为了让计算机能够能更好地理解我们的语言，建立更好的语言模型。这就需要将词汇进行表征。下面是几种不同的词汇表征方式。one-hot 表征利用one-hot向量，将单词表示为词典大小的向量，字典中对应该单词的位置为1，其余位置为0。缺点：将每个词孤立了起来，泛化能力不强...

2018-07-26 09:03:45 1395

原创吴恩达Coursera深度学习课程 deeplearning.ai (5-1) 循环序列模型--编程作业(三)：利用LSTM即兴创作Jazz

Part 3: 利用LSTM即兴创作Jazz欢迎来到本周的最后一个作业！在这个作业中，你将利用LSTM建立一个生成音乐的模型。在作业的最后你将可以听到你自己的音乐。你将学会：在音乐生成中使用 LSTM利用深度学习生成你的 jazz 音乐导包from __future__ import print_functionimport IPythonimport s...

2018-07-25 09:32:33 2827 1

原创吴恩达Coursera深度学习课程 deeplearning.ai (5-1) 循环序列模型--编程作业(二)：字母级别的语言模型 - 恐龙岛

Part 2：字母级别的语言模型 - 恐龙岛欢迎来到恐龙岛！ 6500万年前，恐龙就存在了。在这项任务中他们又回来了。现在你负责一项特殊任务。领先的生物学研究人员正在创造新的恐龙种类并将它们带到地球上，您的工作就是为这些恐龙命名。如果一只恐龙不喜欢它的名字，它可能会被人误认，所以请明智地选择！幸运的是，你已经学会了一些深度学习，你会用它来拯救这一天。你的助手收集了他们可以找到的所有...

2018-07-25 09:20:53 1683

原创吴恩达Coursera深度学习课程 deeplearning.ai (5-1) 循环序列模型--编程作业(一)：构建循环神经网络

Part 1: 构建神经网络欢迎来到本周的第一个作业，这个作业我们将利用numpy实现你的第一个循环神经网络。循环神经网络(Recurrent Neural Networks: RNN) 因为有”记忆”，所以在自然语言处理(Natural Language Processing) 和其他序列化任务中非常有效。RNN每次读取序列中的一个输入x<t>x<t>x^{} (...

2018-07-24 09:10:01 2122 1

原创吴恩达Coursera深度学习课程 deeplearning.ai (5-1) 循环序列模型--课程笔记

1.1 为什么选择序列模型序列模型的应用语音识别：将输入的语音信号直接输出相应的语音文本信息。无论是语音信号还是文本信息均是序列数据。音乐生成：生成音乐乐谱。只有输出的音乐乐谱是序列数据，输入可以是空或者一个整数。情感分类：将输入的评论句子转换为相应的等级或评分。输入是一个序列，输出则是一个单独的类别。DNA序列分析：找到输入的DNA序列的蛋白质表达的子序列。机器翻译：两种不...

2018-07-24 08:55:03 703

原创吴恩达Coursera深度学习课程 deeplearning.ai (4-4) 人脸识别和神经风格转换--编程作业

Part 1：Happy House 的人脸识别本周的第一个作业我们将完成一个人脸识别系统。人脸识别问题可以分为两类：人脸验证: 输入图片，验证是不是A 1:1 识别举例：人脸解锁手机，人脸刷卡人脸识别: 有一个库，输入图片，验证是不是库里的一员 1:K 识别举例：员工门禁FaceNet 通过神经网络学习将图片编码为128维数字向量。通过比较两个128维向量的相似度来...

2018-07-20 08:33:45 5659 9

原创吴恩达Coursera深度学习课程 deeplearning.ai (4-4) 人脸识别和神经风格转换--课程笔记

Part 1：人脸识别4.1 什么是人脸识别？人脸验证: 输入图片，验证是不是 A人脸识别: 有一个库，输入图片，验证是不是库里的一员人脸识别难度更大，要求准确率更高，因为1%的人脸验证错误在人脸识别中会被放大很多倍。4.2 One-Shot 学习对于人脸识别系统，通常我们数据库里仅存储着每个人的一张照片，我们需要用这一张照片来实现该人的识别，这个问题就是on...

2018-07-18 08:34:40 748

原创吴恩达Coursera深度学习课程 deeplearning.ai (4-3) 目标检测--课程笔记

3.1 目标定位图片检测问题分类问题：判断图中是否为汽车；目标定位：判断是否为汽车，并确定具体位置(框起来)；目标检测：检测不同物体并定位。图片定位的神经网络结构假设我们要定位图片中：行人，汽车，摩托以及背景(没有符合条件的)并定位。假设每张图片上只能出现一个目标。标记四类存在与否，定位需要定位目标中心坐标(b_x, b_y)以及图片的高度(b_h)和宽度...

2018-07-13 08:24:22 1014

原创吴恩达Coursera深度学习课程 deeplearning.ai (4-2) 深度卷积网络--编程作业

Part 1：Keras tutorial - the Happy House第二周的第一个作业学习使用 Keras Keras是一个高层神经网络API，Keras由纯Python编写而成并基Tensorflow、Theano以及CNTK后端。尝试如何在数小时内搭建一个深度学习算法为什么要使用Keras ？可以让深度学习工程师快速搭建和试验不同的模型。比TensorFlo...

2018-07-12 08:24:33 1086

原创吴恩达Coursera深度学习课程 deeplearning.ai (4-2) 深度卷积网络：实例探究--课程笔记

2.1 为什么要进行实例探究神经网络有些是相通的，学习人是如何构建神经网络的，对自己也是一个提升。经典神经网络 LeNet-5AlexNetVGGResNetInception2.2 经典网络经典卷积神经网络：LeNet, AlexNet, VGGNetLeNet-5LeNet-5主要是针对灰度设计的，所以其输入较小，为32×32×1，其结构如下：...

2018-07-10 09:00:58 681

原创吴恩达Coursera深度学习课程 deeplearning.ai (4-1) 卷积神经网络--编程作业

Part 1：卷积神经网络本周课程将利用numpy实现卷积层(CONV) 和池化层(POOL), 包含前向传播和可选的反向传播。变量说明上标[l][l]^{[l]} 表示神经网络的第几层上标(i)(i)^{(i)} 表示第几个样本上标[i][i]^{[i]} 表示第几个mini-batch下标 ii_i 表示向量的第几个维度nHnHn_H, nWnWn_W, nCnCn...

2018-07-03 09:13:21 3062 1

原创吴恩达Coursera深度学习课程 deeplearning.ai (4-1) 卷积神经网络--课程笔记

1.1 计算机视觉计算机视觉（Computer Vision）包含很多不同类别的问题，如图片分类、目标检测、图片风格迁移等等。对于小尺寸的图片，例如 64 * 64, 我们输入数据的维度为 64 * 64 * 3 = 12288，可以用全连接神经网络进行学习。对于稍大的图片，例如 1000 * 1000, 输入数据的维度1000 * 1000 * 3 = 3000000, 如果第一个隐...

2018-07-03 08:56:56 660

原创吴恩达Coursera深度学习课程 deeplearning.ai (3-2) 机器学习(ML)策略（2）--课程笔记

2.1 进行误差分析当我们在训练一个模型的时候，如一个猫和狗分类模型，最终得到了90%的精确度，即有10%的错误率。所以我们需要研究错误的占比来决定接下来改进的方向，才能更好地提升分类的精度。收集错误样例（100条错误数据即可）利用图表分析错误的类型和比例决定接下来的改进方向举例在开发集（测试集）中，获取大约100个错误标记的例子，并统计错误数据的类型和数量。修改...

2018-06-24 21:04:44 472

原创吴恩达Coursera深度学习课程 deeplearning.ai (3-1) 机器学习(ML)策略（1）--课程笔记

1.1 为什么是 ML 策略实践中优化深度学习模型的方法有好多种，应该如何抉择?1.2 正交化正交化：一个维度做且只做一件事，各个维度相互独立，不影响其他维度做的事情。比如电视条件：有调节高度的按钮，宽度的按钮，旋转的按钮，色彩的按钮，亮度的按钮，每个按钮负责一件事情，不会影响其他按钮调节的维度，使分析更为简单。监督学习模型中：系统在训练集上表现的好否则...

2018-06-24 21:02:10 528

原创吴恩达Coursera深度学习课程 deeplearning.ai (2-3) TensorFlow Tutorial--编程作业

TensorFlow Tutorial1. 探索TensorFlow lib库导包import mathimport numpy as npimport h5pyimport matplotlib.pyplot as pltimport tensorflow as tffrom tensorflow.python.framework import opsfrom...

2018-06-24 17:06:19 1785

原创吴恩达Coursera深度学习课程 deeplearning.ai (2-3) 超参数调试、Batch 正则化和程序框架--课程笔记

3.1 调试处理参数少时网格点参数多时网络随机点定位小区域后再在小区域进行网络随机点3.2 为超参数选择合适的范围选择超参数时在一定范围内均匀随机取值，比如神经元节点个数，隐藏层的层数等有些超参数不适合均匀随机取值，我们需要做变换后再进行均匀随机取值，然后再变换回去，最常用的是指数变换和对数变换例如：学习率 αα\alpha 范围为0.0001,…,1 此时均匀随...

2018-06-24 16:53:44 370

原创吴恩达Coursera深度学习课程 deeplearning.ai (2-2) 优化算法--编程作业

初始化导包import numpy as npimport matplotlib.pyplot as pltimport scipy.ioimport mathimport sklearnimport sklearn.datasetsfrom opt_utils import load_params_and_grads, initialize_parameters, ...

2018-06-23 21:55:34 765

原创吴恩达Coursera深度学习课程 deeplearning.ai (2-2) 优化算法--课程笔记

2.1 Mini-batch 梯度下降法原因: 大数据集时，执行一次循环时间很长，梯度下降很慢；mini-batch 是指将大数据集 n分成一系列小数据集m，每计算一个小数据集就执行一次梯度下降，这样一次大数据集的计算可以下降n/m 次，从而增加梯度下降的速度。执行一次小数据集为一次 mini-batch执行一次大数据集为一次 epochmini-batch 使用上角标{i}...

2018-06-23 21:36:36 583

原创吴恩达Coursera深度学习课程 deeplearning.ai (2-1) 深度学习实践--编程作业

初始化一个好的初始化可以做到： - 梯度下降的快速收敛 - 收敛到的对训练集只有较少错误的值加载数据import numpy as npimport matplotlib.pyplot as pltimport sklearnimport sklearn.datasetsfrom init_utils import sigmoid, relu, compute_lo...

2018-05-31 21:23:35 1646 1