- 博客(46)
- 收藏
- 关注
RSS订阅原创 2022-02-27周报
目录前端深度学习毕业设计前端复习上学期学习的前端内容，做了一个简单的静态页面<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <meta http-equiv="X..
2022-02-27 12:57:51
537
原创 2022-01-09周报
python第九章类1.创建类根据dog类创建的每个实例都将存储名字和年龄，赋予每条小狗蹲下sit（）和打滚roll_over（）class Dog: def __init__ (self,name,age): self.name=name self.age=age def sit(self): print(f"{self.name} is now sitting.") def roll_over(self):.
2022-01-09 18:27:44
446
原创 2021-12-18周报
目录python第八章函数1.定义函数2.传递实参3.返回值4.传递列表5.传递任意数量的实参6.将函数存储在模块中毕设python第八章函数1.定义函数def greet_user(username): """显示简单的问候语""" print(f"hello,{username.title()}")greet_user('jesse')形参：函数定义中的变量实参：函数调用中的变量练习8-2print('\n')de
2021-12-18 10:34:35
1046
原创 2021-12-12周报
Python第七章用户输入和while循环1.input获取字符串输入 name= input("please enter your name: ") print(f"\n Hello,{name}")创建多个字符串，其中包括输入字符串prompt = "if you tell us ,wa can"prompt += "\nwhat is your name?"name = input(prompt)print(f"\nhello,{name}")1.1 i...
2021-12-12 19:14:22
572
原创 2021-12-5周报
python一.第四章操作列表1.遍历整个列表 for循环magicians = ['alice', 'david', 'carolina']for magician in magicians: # 从magicians中读取元素，赋值到magician。 print(magician)print("\n")1.1 在for循环中执行更多操作magicians = ['alice', 'david', 'carolina']for magician in m..
2021-12-05 21:47:09
1083
原创 2021-11-28周报
目录一、前端：1.圆角边框做法：2.盒子阴影3.文字阴影4.css浮动二、最优传输的理论：深度学习的角度1、深度学习的基本问题2.一些概念3.一些领域的应用：一、前端：1.圆角边框做法：圆角边框：将盒子边框变成圆角 <style> div{ height: 150px; width: 300px; background-color: pin.
2021-11-28 12:31:59
820
原创 2021-11-13周报
1.Improvement of PM2.5 and O3 forecasting by integration of 3D numericalsimulation with deep learning techniques将三维数值模拟与深度学习技术相结合，改进PM2.5和O3预测Sustainable Cities and Society作者及单位：Haochen Sun，Jimmy C.H. Fung, Yiang Chen, Wanying Chen, Zhenning Li,.
2021-11-14 19:01:42
2232
原创 2021-11-08周报
目录一、前端1.css三大特性：1.层叠性2.继承性3.优先级2.css盒子模型1.边框border2.内边距padding3.外边距margin二、python学习一、前端1.css三大特性：层叠性，继承性，优先级1.层叠性层叠性：给相同的选择器设置相同的样式，样式会覆盖到最新的<style> div{ color: aqua; } div{.
2021-11-08 17:15:10
83
原创 2021-10-31周报
一、前端1.复合选择器复合选择器建立在基础选择器之上，对基础选择器进行组合形成的。1.后代选择器格式：元素1 元素2{样式声明}例子：想要选择ol中所有的li ol li { color: tomato; }例子：如何修改第二个ul中，li标签中的a标签 .nav li a { color: yellow; }针对多个同名的父标签（例如多个ul），可以指定.
2021-10-31 16:14:21
122
原创 2021-10-16周报
目录模型变化类1.Multi-hour and multi-site air quality index forecasting in Beijing using CNN, LSTM, CNN-LSTM, and spatiotemporal clustering摘要数据评估标准特点总结2.An air quality forecasting model based on improved convnet and RNN摘要数据评估标准特点做法总结
2021-10-23 10:29:32
737
原创 2021-10-09周报
前端：css由选择器以及一条或多条声明组成css写在head标签里，用style标签一、css选择器：选择器分为基础选择器和复合选择器。基础选择器由单个选择器组成的。基础选择器包括：标签选择器，类选择器，id选择器和通配符选择器。1.标签选择器是指用html标签名称作为选择器，按标签名称分类，为页面某一标签指定统一的css格式 <style> /* 给谁改样式 {改什么样式} */ p { color: re.
2021-10-10 20:22:19
89
原创 第一周周报
一、前端知识<!DOCTYPEhtml><!--声明文件类型--><htmllang="zh-CN"><!--zh-CN表示中文--><head><metacharset="UTF-8"><!--字符格式UTF-8--><metahttp-equiv="X-UA-Compatible"content="IE=edge">...
2021-09-18 20:11:26
416
原创 李宏毅机器学习36——life long learning
这节课学习了lifelonglearning，lifelonglearning意为终身学习，意思是通过一个神经网络来进行多个task的训练。LLL面临的主要问题就是经过多个task之后，神经网络对于早期训练的效果就会很差，这可以理解为会遗忘掉过去的事。为了处理这个问题，主要学习了两种方法。1是EWC（Elastic weight consolidation），ewc的想法是保留之前task训练过程中重要的参数，去更改不太重要的参数，使得经过多个task训练后，对早期的task仍然有不错的表现...
2021-09-05 21:32:34
675
原创 李宏毅机器学习35——meta learning
一、什么是Meta learning让机器学习如何去做学习机器在经过一系列的学习任务后，可以将学到的知识用在新的学习任务中，成为一个更好的学习者。这样在遇到新的学习任务时，机器能够能快的完成。-机器学习指的是找到满足需求的函数f，以下图为例，f的任务是对图像识别。Meta learning指的是找到产生f的函数F，向F输入训练数据，可以产生满足需求的f。Meta learning的步骤与machine learning类似，机器学习的步骤是：1.定义函数集...
2021-08-29 17:32:27
564
原创 李宏毅机器学习34——Transfer learning
摘要：这节课学习了迁移学习，简单来说，就是用一些与目标数据没有直接联系的数据，进行神经网络的训练，这种方法弥补了一般情况下训练神经网络，目标数据缺乏的缺陷。这节课中，与目标数据没有直接联系的数据叫做source data根据source data和target data有无label，将迁移学习分为四个大类，这节课主要学习了其中两个大类。对于target data和source data都是labeled的情况，直觉的想法就是用source data直接训练，用target data进行微调，但
2021-08-22 17:25:48
444
原创 李宏毅机器学习33——GAN（5）
摘要：这节课主要学习了GAN背后的理论知识，主要是原理和数学推导。由于GAN是两部分组成的，这节课学习也是分为生成器生成图片的原理与判别器的原理。对生成器而言，想要生成符合要求目标，需要在高维空间中选取出样本的分布情况。将选取的样本通过生成器，得到Pg。希望Pg与目标样本Pdata尽可能接近，这个过程其实就是求这两个分布的KL散度。对于判别器而言，虽然不知道两个分布的具体公式，但是通过分别sample出两个数据集，对其进行分数评估，得到目标函数。最后将两个目标函数联系起来，就是GAN的目
2021-08-15 15:01:34
350
原创 李宏毅机器学习31——GAN（3）
摘要：这节课学习条件生成下GAN的应用(CGAN)。conditional GAN是指在有生成条件的前提下，通过对抗生成网络的方法，进行图像的生成。首先文字生成图片为例，加入GAN的方法，将文字和生成图片联系起来，输入到生成式中。这样解决了传统方法下，生成的图片不够真实的问题。之后又对这个方法进行了改进，将生成式的输入和输出同时输入到判别式，使文字和图片作为一对数据联系起来。之后又提出了一种新的判别式架构，将文字和图片的匹配，与图片的真实性分开评估，这样做的好处是，当判别式评分较低时，可..
2021-08-01 18:11:30
284
原创 李宏毅机器学习28——more about auto-encoder
摘要：这节课开始学习生成对抗网络GAN，GAN分为两部分：generator和discriminator。GAN的大致流程：将一组vector输入给生成器，得到一张图像，先根据真实图片和生成图片训练判别器的参数，再用判别器去训练生成器的参数，使生成的图片尽可能真实。整个过程中，生成器和判别器的参数反复训练，最终使生成结果尽可能真实。这节课主要讲了生成器部分。先是讲了structuredlearning，将structuredlearning与GAN联系到一起。之后讲了生成器与自编码相..
2021-07-11 17:12:17
367
原创 李宏毅机器学习27—Unsupervised learning auto-encoder
上节课讲了auto-encoder，Auto-encoder主要包含一个编码器（Encoder）和一个解码器（Decoder）。Encoder接收一张图像，输出一个vector，上节课中称他为code，也可以叫它Embedding、Latent Representation或Latent code，这个vector是关于输入图像的表示；然后将vector输入到Decoder中就可以得到重建后的图像，我们希望输出图像和输入图像越接近越好，这个方法叫做reconstruction error。这节课更深入的
2021-07-04 21:04:19
283
原创 李宏毅机器学习23—Transformer
摘要：这节课讲的是Transformer，Transformer是具有自我注意力机制的seq2seq模型。通常情况下，seq2seq中使用的是rnn。在transformer中，中间层使用self-attentionlayer。self-attentionlayer通过将输入转换成三个vector Q、K、V，经过一系列的矩阵计算，最终得到输出，这样做的好处是可以进行并行计算，矩阵计算可以通过GPU来加速。Q、K、V三个vector也可分成多个组，每个组表示不同的含义，这就是multi-..
2021-06-27 15:02:11
386
原创 李宏毅机器学习26—Anomaly Detection
Anomaly Detection 异常侦测一、Anomaly Detection首先有训练集x1到xn我们希望找到一个函数，可以识别出输入x是不是近似于训练数据如果x近似于训练数据，x就是正常的数据X不近似于训练数据，那么x就是异常数据。Anomaly指的是找出与训练数据不同的数据。1.举例说明什么是Anomaly：2.Anomaly Detection的应用:1.对银行卡盗刷进行异常检测2.对网络入侵、网络攻击进行异常检测3.对...
2021-06-20 10:52:03
478
原创 李宏毅机器学习25—Unsupervised learning Neighbor Embedding
Unsupervised learning:neighbor embedding上节讲的是线性降维:PCA，这节主要是讲非线性降维这节课主要学习了将高维空间中的数据，降低到低维度的几种方法：1.Locally linear embedding（局部线性嵌入)：利用降维前后坐标关系不变，求解出降维之后的点。2.laplacian eigenmaps (拉普拉斯特征映射)：希望相互间有关系的点在降维后的空间中尽可能的靠近。Laplacian Eigenmaps可以反映出数据内在的流形结构。.
2021-06-13 14:37:36
227
原创 李宏毅机器学习24—Unsupervised learning-linear methods
摘要：这节课主要讲无监督学习中线性模型的知识无监督学习主要分成两类：一类是降维、聚类。一类是生成。聚类顾名思义就是将具有相同特征的数据分为一类，主要有两种方法：1.K-mean，2.HAC降维是指将一个事务从高纬度降低到低纬度，方便计算。降维也是讲了两种方法：1.featureselection，2.PCAPCA（主成分分析）是整节课的重点，简单来说，就是将数据投影到方差更大的方向上。从另一个角度来看，一张图片可以视为由多个component组成的，可以发现这里的component就是.
2021-06-06 15:07:23
248
原创 李宏毅机器学习22—Recursive network
Recursive network（递归神经网络）摘要：这节课学习了Recursive network，RNN是Recursive network的特殊情况。主要以句子的情感分析为例，讲了Recursive network是如何对句子进行分析的。对于recursivenetwork中的f函数，有几种不同的做法：1.recursive neural tensor network：将两个word串接在一起，组成vectorx，用xTwx来表示两个word合并在一起的意思。2.matri.
2021-05-30 10:43:37
122
原创 李宏毅机器学习21—pointer network（第七周）
摘要：这节课以求一组二维平面上点的凸包为例，介绍了pointer network，以及pointer network的做法及应用。做法与上一节课讲的动态条件生成是一样的，只是将softmax那一步换成直接求attention weight的argmax。pointer network可以应用于机器翻译，求文章摘要。目录一、Pointer network二、做法：三、应用：1.Summarization2.翻译：总结：一、Pointer netwo...
2021-05-29 14:00:05
181
原创 李宏毅机器学习20—Conditional generation by RNN ＆ Attention （第六周）
Conditional generation by RNN ＆ Attention摘要：这节课学的内容很多，而且讲的也比较分散，听起来有点难。主要围绕的是文字的生成，其中包括在一定条件下的文字生产，一共有两个例子，一是对图片生成文字描述，一个是对提问做出正确的回答。从另一个角度来讲，文字生成还可以分成静态生产与动态生成（attention），所谓的动态生成，指的是在decoder中，每个时间点的输入是不同的，这样的好处是可以是每一次的输出结果更加准确。还讲了memory network，
2021-05-23 15:17:30
285
原创 李宏毅机器学习19—Network compression（第五周）
Network compression 网络压缩摘要：实践背景：想要将深度模型放到移动设备上，例如智能手机，无人机，机器人等等，但是移动设备上的存储空间是有限的，这就需要进行网络压缩。理论基础：现在的模型中，多数参数和神经元对于输出结果没有影响，也就是没用到。这样可以将这些参数和神经元剪掉，得到一个更小的网络。这节课主要讲的是网络压缩的几种方法，分别是网络剪枝，知识蒸馏，参数量化，结构设计和动态计算。（这节课只考虑软件方向）网络剪枝是指评估weight和neuron的重要性，然后把.
2021-05-16 10:57:54
460
原创 李宏毅机器学习18—ML中的Attack and Defense
Ml中的Attack and defense希望Ml的model不仅要强，还要能够对抗人类的恶意攻击例如:用ml的技术进行垃圾邮件的侦测，那么编写垃圾邮件的人就会对垃圾邮件进行改写、伪装，希望骗过ml的model一.attack多数时间讲的是攻击，因为对于ml的model来说，攻击比防御更容易首先将一张图片输入到比较深的网络中，得到的输出是tiger cat的概率是0.64接下来刻意对输入加上一些噪声，得到一个不太一样的图片，将这个图片输入到神经网络中，得到的结果有很大变化...
2021-05-09 16:19:49
329
原创 李宏毅机器学习17—Explainable ML（第四周）
Explainable machine learning 可解释的机器学习摘要：这节课学习可解释的机器学习，机器学习之所以需要解释，主要是为了使用者的需求，而不是为了完全理解model是如何工作的。首先将Explainable machine learning分成两类：Local Explainable和Global Explainable。Local Explainable可以通过遮挡法和梯度计算，画显著图的方法实现。Global Explainable是通过cnn那节课讲的机器眼中的
2021-05-09 15:50:29
432
原创 李宏毅机器学习16—Unsupervised learning：word embedding
Unsupervised learning：word embedding无监督学习：词嵌入摘要：这节课通过介绍word embedding，说明什么是无监督学习以及wordembedding的两种实现方法，简单介绍了一些运用wordembedding方法的实际应用。，目录一、什么是word embedding二、两种实现方法：1.count based2.prediction based三、如何训练这个神经网络四、Prediction-based model的其他类...
2021-05-02 14:31:33
225
原创 李宏毅机器学习15—Semi-supervised learning
Semi-supervised learning（半监督学习）摘要：这节课主要学习了半监督学习，以及半监督学习的两种方法。目录一、什么是Semi-supervised learning为什么要做Semi-supervised learning二、Semi-supervised learning for generative model首先看supervised learning for generative model实际上Semi-supervised learning for
2021-05-02 11:10:42
855
原创 李宏毅机器学习14—Recurrent Neural Network（第三周）
RNN: (Recurrent Neural Network)循环神经网络摘要：本节课主要学习了什么是RNN、LSTM，以及如何对RNN进行训练。目录举例说明什么是RNN？1.智慧订票系统的语音识别2.如何将word用向量表示？3.RNN的原理4.其他几种RNN类型Long short-term memory(LSTM)1.什么是LSTM？2.LSTM与神经网络的联系：3.LSTM的实现流程如何来对rnn做训练1.如何定义loss函数2.训练方..
2021-05-02 10:34:00
199
1
原创 李宏毅机器学习13—Convolution Neural Network2
对cnn的分析假设模型已经设定好，来分析cnn的工作原理。1.分析在第二次卷积和池化做了什么，第k层的filter的作用是什么？首先假设第二次卷积的第k个filter的输出是一个11*11的矩阵。用akij表示第k层第i行第j列的像素。找到一个输入x，求与第k层最接近的输入x定义激活函数ak为第k层元素的集合。X*=argmax ak （通过梯度上升的方法进行计算）结果：这就是前12个filter的结果，这些都是某种纹路的图案，说明这个filter的作用就是寻找图像上
2021-04-25 14:56:39
83
原创 李宏毅机器学习12—Convolution Neural Network1
Convolution Neural Network卷积神经网络用神经网络直接做图像处理。将图片的像素排成一个很长的矢量。作为输入。输出就是属于什么类别。每一个神经元就是一个分类，比如说第一层里代表黑色、红色和斜条纹。第二层里代表各种花纹，之后下去每层越来越复杂。那么问题就是，直接用神经网络来做，参数太多，这样就需要CNN。CNN的做法：简化神经网络的参数，去掉网络中的一些没用的参数。用CNN识别图像有三种情况：1.整张图片识别参数过多，通常识别某个图案是小于某个整个..
2021-04-25 12:09:47
89
原创 李宏毅机器学习11—Tips for training DNN2
接上篇，当训练模型表现差时，还可以改变学习率。之前讲过的adagrad算法w2在竖直方向上，因为梯度比较大，比较陡峭，所以就选用比较小的学习率w1在横方向上，因为梯度比较小，比较平缓，所以就选用比较大的学习率。但是实际情况比这复杂很多，当遇到上图这种情况时，同一个方向，不同地方的梯度变化也是不一样的，也需要学习率快速变化。这个时候就需要RmsProp。RmsProp算法用学习率η除以σ，σ0就是第一次gradient的值g0。第二次，算出一个新的gradien g.
2021-04-25 11:51:15
79
原创 李宏毅机器学习10—Tips for training DNN1（第二周）
DNN的步骤：第一步：定义函数集第二步：评估函数的好坏、第三步：选取最好的函数当训练结果表现差时，修改上面三步当训练结果表现好的，再看测试结果的表现，表现好就成功了，表现差就是过拟合。如果训练结果本身就差，测试结果也差时，并不是过拟合。一、对于训练数据上的表现比较差时：1.需要新的激活函数:也就是说训练数据时函数出现了问题2.梯度消失问题：前提：神经网络的层数过多表现：当靠近输入层时，参数对loss函数的微分很小：靠近输出层时，微分很大。在设定相同的学习.
2021-04-25 11:39:37
126
原创 李宏毅机器学习09—Why deep
neuralnetwork的多层优点为什么多层的结构效果会更好？Modularization 模组化：将四个类别分成分在两个基础分类之下，这样每个基础类别有足够的数据进行训练。classifer把前面的basicclassifier当做module，收集basicclassifier的输出，每个classifier共用同样的module进行判别。（预分类）引用到deeplearning需要更少的训练数据语音识别（这块听不懂）1.第一步：分...
2021-04-18 15:38:37
88
原创 李宏毅机器学习07—deep learning
一、深度学习的发展历史二、深度学习的步骤1.定义一个函数集，也就是神经网络（neuralnetwork）将逻辑回归按不同的方式进行连接，得到不同的结构，逻辑回归中的w和b就是神经网络中的参数。常见的连接方式：Fully Connect Feedforward Network（全连接前馈神经网络）矩阵计算过程：举例：需要找到一个合适的网络结构，使最适合的函数在函数集里面。2.定义一个函数的好坏（找到合适的参数）调整参数使得交叉熵最小.
2021-04-18 11:35:14
60
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人