- 博客(27)
- 收藏
- 关注
RSS订阅原创 网络空间内生安全数学基础（2）——编码信道数学模型
目录（零）这篇博客在干什么（一）内生安全与香农信道编码定理（二）基本定义（三）编码信道存在定理（三.壹）编码信道存在第一定理（三.贰）编码信道存在第二定理（三.叁）编码信道存在第三定理（四）总结（零）这篇博客在干什么由于本篇博客可能会涉及到较多数学方面的东西，所以我们在一开始先确定一下本文究竟想要做一个什么事情，以便于大家（以及我自己）对整体有一个较强的把握，而不至于被淹没在不知所云的符号之海之中。从一个high level的角度来讲，《网络空间内生安全：拟态防御与广义鲁棒控制》一书中所提到的所谓编码
2024-02-05 11:11:07
1815
原创 算法稳定性理论(algorithmic stability theory)与泛化误差(generalization error)
基于Bousquet 2002年发表于JMLR上的文章Stability and Generalization介绍一些稳定性定义以及它们与泛化误差之间的关系，构建算法稳定性理论基本框架，对algorithmic stability theory进行扫盲式科普。
2022-07-19 14:56:48
1809
1
原创 差分隐私相关论文(2) —— Deep Learning with Differential Privacy, Abadi 2016
对Abadi 2016年发表在安全顶会CCS上面的论文Deep Learning with Differential Privacy进行深入分析
2022-06-07 11:42:12
4331
13
原创 差分隐私相关论文(1) —— Differential Privacy, Dwork 2006
之前也有提到过，因为已经转行差分隐私不搞NLP啦，所以之后的博客不会再更新NLP相关内容（尽管曾经的梦想是在NLP领域有所作为哈哈哈），但是如果大家有什么相关问题还是期待着一同讨论哟~好了我们言归正传，本文向大家介绍2006年Dwork大神的一篇文章，文章名字就叫Differential Privacy，应该是差分隐私的开山之作了。首先，差分隐私所描述的隐私保护，针对的都是数据库中的个人数据（...
2020-03-13 15:22:22
5441
13
原创 自然语言处理NLP（11）——篇章分析与指代消解
在上一部分中，我们介绍了语义分析的基本内容（自然语言处理NLP（10）——语义分析），重点介绍了格文法和语义角色标注（SRL）。在这一部分中，我们将介绍篇章分析相关内容。在介绍具体内容之前，我们首先要理解这样一个问题：什么是篇章？篇章是由一个以上的句子（sentence）或语段（utterance）构成的有组织、有意义的自然语言文本整体。一篇文章、一段会话等都可以看成篇章。构成篇章的句子（或...
2020-03-01 14:06:23
7759
2
原创 自然语言处理NLP（10）——语义分析
在上一部分中，我们介绍了句法分析中的局部句法分析以及依存关系分析（自然语言处理NLP（9）——句法分析c：局部句法分析、依存关系分析），至此，繁复冗长的句法分析部分就结束了。在这一部分中，我们将要介绍NLP领域的一个重要问题：语义分析。语义分析分为两个部分：词汇级语义分析以及句子级语义分析。这也就是为什么在词法分析和句法分析之后，我们要介绍的是语义分析而不是篇章分析的原因。【一】词汇级语义...
2019-09-24 19:28:13
54959
2
原创 自然语言处理NLP（9）——句法分析c：局部句法分析、依存关系分析
在上一部分中，我们介绍了基于规则法、概率统计法、神经网络法的完全句法分析方法（自然语言处理NLP（8）——句法分析b：完全句法分析）。在这一部分中，我们将介绍句法分析中的另外两种类型：局部句法分析、依存关系分析。【一】局部句法分析相比于完全句法分析要求对整个句子构建句法分析树，局部句法分析（浅层句法分析、语块分析）仅要求识别句子中某些结构相对简单的独立成分，如非递归的名词短语、动词短语等。这...
2019-06-04 20:26:02
7691
10
原创 自然语言处理NLP（8）——句法分析b：完全句法分析
在上一部分中，我们简单介绍了完全句法分析的概念，并详细介绍了句法分析的基础：Chomsky形式文法（自然语言处理NLP（7）——句法分析a：Chomsky（乔姆斯基）形式文法）。在这一部分中，我们将对完全句法分析进行详细介绍。回顾一下，句法分析共有三种类型：完全句法分析、局部句法分析、依存关系分析。对于完全句法分析，还是NLP领域中常用的三种解决方法：规则法、概率统计法、神经网络方法。下面...
2019-03-22 11:15:29
10439
4
原创 神经网络语言模型中，词向量为什么可以随着模型的迭代而改变？
在神经网络语言模型中，通常我们认为词向量是模型的输入。对此不太熟悉的朋友可以参考博客：自然语言处理NLP（3）——神经网络语言模型、词向量神经网络语言模型的架构是这个样子的：然而，在模型训练的过程中，输入层的词向量可以随着模型的迭代而改变，就像调整上图中的权重：W,U,HW,U,HW,U,H一样。可能很多人有同样的疑问：词向量作为模型的输入，怎么能改变呢？朋友们可以先仔细思考一下这个问...
2019-03-12 09:02:01
1286
4
原创 自然语言处理NLP（7）——句法分析a：Chomsky（乔姆斯基）形式文法
在上一部分中，我们介绍了NLP领域最基本的问题：词法分析，现阶段解决该问题最常用的方法就是将其转化为序列标注问题，根据解决序列标注问题的方法对其进行解决。在这一部分中，我们将在词法分析的基础上介绍句法分析。句法分析的任务是确定句子的句法结构或句子中词汇之间的依存关系，主要包括三种：完全句法分析、局部句法分析、依存关系分析。其中，前两种句法分析是对句子的句法结构进行分析（也称为短语结构分析），...
2019-03-08 10:12:46
7247
5
原创 自然语言处理NLP（6）——词法分析
在上一部分中，我们介绍了NLP领域中的一个基本问题：序列标注问题，并对解决该问题的三种方法：HMM、CRF、RNN+CRF进行了介绍。在这一部分中，我们将在语言结构层面对词法分析进行介绍。在了解了NLP架构之后（在博客：自然语言处理NLP（3）——神经网络语言模型、词向量中有过介绍，忘记了的朋友们可以翻回去看看），一定还记得这样一张图：现在，我们已经了解了自然语言研究层面的基本概念：语言模...
2019-02-26 15:12:21
12784
4
原创 自然语言处理NLP（5）——序列标注b：条件随机场（CRF）、RNN+CRF
在上一部分中，我们了解了序列标注问题以及解决该种问题的一种方法——隐马尔科夫模型HMM：自然语言处理NLP（4）——序列标注a：隐马尔科夫模型（HMM）在这一部分中，我们将要介绍解决序列标注问题的另外两种方法：条件随机场（CRF），以及RNN+CRF。【一】最大熵模型在介绍条件随机场（CRF）之前，首先了解一下什么是最大熵模型。...
2019-02-21 00:22:53
4284
原创 自然语言处理NLP（4）——序列标注a：隐马尔科夫模型（HMM）
在上一部分中，我们已经了解了神经网络语言模型和词向量：自然语言处理NLP（3）——神经网络语言模型、词向量在对现阶段NLP领域的最基本、最常用的架构有所了解之后，在这一部分中，我们将要介绍NLP领域最常见的一类问题：序列标注。【一】序列标注...
2019-02-13 00:59:04
4966
4
原创 自然语言处理NLP（3）——神经网络语言模型、词向量
在上一部分中，我们了解到了统计语言模型，n-gram模型以及语料库的基本知识：自然语言处理NLP（2）——统计语言模型、语料库在这一部分中，我们将在此基础上介绍神经网络语言模型以及词向量的相关知识。在介绍这些知识之前，我们首先对自然语言处理领域的整体架构进行一些简单的介绍。【一】自然语言处理架构我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能...
2019-02-09 15:44:24
6638
6
原创 神经网络基础：DNN、CNN、RNN、RvNN、梯度下降、反向传播
在介绍神经网络之前，首先介绍一下神经元模型。神经元模型可以描述为这样的一张图：对于一个模型而言，我们首先要把握住四个部分：输入、输出、参数以及对应关系。（这一点很重要）在上图所示的神经元模型中，输入为X（X是一个向量【一】DNN...
2019-02-01 15:37:47
6991
2
原创 自然语言处理NLP（2）——统计语言模型、语料库
在上一部分中，我们已经了解了自然语言处理的基本知识：自然语言处理NLP（1）——概述。在这一部分中，我们将简要介绍NLP领域的基本模型——语言模型，我们还将对自然语言处理的基础——语料库的概念进行介绍。这些都是在学习自然语言处理之前所必备的知识。此外，我们默认大家有一定的信息论和概率论基础，在这里不对信息论和概率论知识进行赘述。接下来，我们进入正题。【一】语言模型在这一部分中...
2019-01-24 16:29:23
7080
2
原创 自然语言处理NLP（1）——概述
本学期修读了“自然语言处理”这门课，趁着假期把学到的东西整理一下~在了解自然语言处理相关知识之前，首先要知道什么是自然语言处理、自然语言处理能干什么、怎么来做自然语言处理。 【一】什么是自然语言处理个人认为，自然语言处理（Natural language processing，NLP）是将自然语言处理为计算机所能理解的东西，并利用计算机做一些进一步的处理以达到某些目的的方法。那...
2019-01-23 15:45:04
4619
原创 机器学习如何进行调参
调参，真的是让我脱了一层皮的一项工作。调了半天，训练一天，结果什么用都没有的时候真的是绝望……本文总结了自己对于调参的思考和一些常见参数的调整，希望对大家有所帮助。如果本文中有些表述或理解有误，欢迎各位大神批评指正。在实际调整参数之前，我们先要搞清楚两个事情：1.调参的目的是什么？2.调参调的东西具体是什么？第一个问题：调参的最终目的是要使训练之后的模型检测物体更精确，向程序的方向更靠近一步的话，...
2018-03-08 16:42:21
14769
7
原创 物体检测算法SSD简述
其实SSD的论文是在YOLOv2之前看的，但由于那时本人初识机器学习，还不了解基本概念，所以只是囫囵吞枣，没能理解得很透彻，于是今天重新拾起SSD，并编辑出一篇学习记录，希望对大家有所帮助。如果本文中某些表述或理解有误，欢迎各位大神批评指正。下面进入正题。论文原文中提到，作者提出的SSD算法比之前的YOLO算法更快、更精确，精确度可以媲美之前的Faster R-CNN。为了理解方便，本文将原论文中...
2018-03-08 14:56:18
4544
3
原创 新手初识Tensorflow
前些日子偶然接触到Tensorflow，作为一名新手，本人根据Tensorflow中文社区中的文档进行了基础部分的学习，并对学习过程以及学习过程中的问题一并进行了记录。根据本机代码结果整理出这篇文档，希望对大家有所帮助。如果本文任何地方的表述或某些个人理解有所不妥，欢迎各位大神批评指正。注：若本机代码实验运行结果与官方文档不符，本文中的结果记录为本机运行结果。另注：本文有点小长且有些枯...
2018-03-07 11:51:44
2159
原创 YOLOv2简述
前些日子看了看YOLOv2算法，算是引领了本人在分类检测算法中的入门吧，综合了一下自己看论文和博客的收获，根据自己的理解简单说一下YOLOv2是怎么回事儿。如果哪里表述有不妥当或者理解偏差欢迎各位大神批评指正。好了那我们进入正题。YOLOv2在原版本的基础上进行改进，在精度上有所提升。为了精度的提升，YOLOv2使用了一些方法和技巧图片中展示了各方法对模型性能的提高：本文主要针对其中几项技术进行分...
2018-03-06 13:59:09
2478
原创 机器学习中的一些基本概念
前些日子在学习YOLOv2的过程中，了解了一些机器学习中的基本概念，在此记录下来。如果有些概念理解有误，欢迎各位大神批评指正。【TP、FN、FP、TN】假设某场景：假如某个班级有男生80人,女生20人,共计100人.目标是找出所有女生.现在某人挑选出50个人,其中20人是女生,另外还错误的把30个男生也当作女生挑选出来了.准确率accuracy = （20 + 50） / 100 = 0.7(20...
2018-03-06 09:37:17
1554
原创 利用YOLOv2训练数据
在实习期间，需要利用YOLOv2训练自己的一批数据，在网上找了各种博客，其中的方法总是有一些问题。用了很久的时间来解决这些问题，并将解决问题的方法记录下来，希望对大家有所帮助。1.下载YOLOyolo的官网：https://pjreddie.com/darknet/yolo/大概是这样的画风：按照步骤下载并进行图片验证即可。2.数据预处理（该处理方法与参考博客中的方法相同）该阶段建立的文件夹的名称...
2018-03-05 15:00:06
2724
5
原创 python中的常见编译问题
之前也有提到过，在实习期间主要做物体检测部分，需要利用到机器学习中的一些算法，例如SSD、YOLO等，这些算法都离不开python。由于初次接触python，搭配上实习公司所使用的linux环境，对python和linux环境、编码以及各训练算法的配置、执行多有不熟练，在其中遇到了一些问题，所以将其总结下来。今后遇到问题会有所补充。【SSD】Q1.在SSD训练环境搭建过程中遇到如下问题：执行配置文...
2018-03-05 09:50:15
570
原创 初识深度信念网络DBN
第一次接触深度信念网络DBN，结合看到的博客内容简单谈谈理解，如果有哪些地方不太准确，欢迎各位大神批评指正。【概述】周志华老师所著的《机器学习》5.6节对DBN的描述可以用简单一句话来概括：DBN由多层受限Boltzmann机（RBM）堆叠而成，各层RBM预训练完成后，利用一层BP对整个网络进行训练。那么问题来了，RBM是个什么？【受限Boltzmann机（RBM）】每个RBM有两层神经元，显层和...
2018-03-02 15:36:50
900
原创 实现xml文件随机划分的python脚本
实习的时候，主要是做物体检测，需要将XML文件划分进训练集(train)、验证集(val)和测试集(test)。于是mentor给了个任务，要求写一个python脚本实现对XML文件的随机划分，具体要求如下：1.新建两个文件夹test和trainval，其中test文件夹中保留划分进测试集的XML文件，并在其中新建一个txt文档记录文件名；trainval文件夹中保留划分进训练集和验证集的XML文...
2018-03-02 09:52:35
706
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人