- 博客(63)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Ubuntu 申请 SSL证书并搭建邮件服务器
本文记录了如何在一台 Ubuntu 服务器上搭建邮件服务器，主要是安装和配置 Postfix 和 Dovecot，以及 SpamAssassin 和 OpenDKIM 的安装和配置。同时也介绍了如何申请 SSL 证书以及其他服务的相关配置
2024-01-25 22:14:07
1530
原创 PyTorch（六）网络模型
本篇文章介绍了如何对已有的模型进行修改或者添加自己想要的结构，保存的读取网络模型的方法，利用 GPU 进行训练，以及完整的模型训练和验证的套路。
2022-12-12 08:38:45
2050
2
原创 PyTorch（五）神经网络基础
本篇文章主要介绍了torch.nn 中有关神经网络的相关内容。在容器中介绍了 Module，它是所有神经网络的一个基本的类；同时还介绍了 Sequential，它的作用是整合不同的操作；在卷积层中介绍了 Conv2d 类；在池化层中介绍了 MaxPool2d 下采样，它的作用就是降低数据的维度；在非线性激活中介绍了激活函数的使用；在线性层中介绍了 Linear，作用是进行线性变换；在损失函数中介绍了三种损失函数的使用方法；最后还介绍了优化器，它的利用梯度对参数进行调整，进而实现误差降低的目的。
2022-12-11 14:38:40
554
原创 PyTorch（四）Torchvision 与 Transforms
本文主要介绍了 Torchvision 中数据集的使用方法，以及如何结合 Transforms 进行使用
2022-11-29 09:41:40
828
原创 PyTorch（三）TensorBoard 与 Transforms
本文主要介绍了 TensorBoard 的安装以及其中的 SummaryWriter 的使用，包括函数 add_scalar() 以及 add_image() 的使用方法，同时还介绍了 Transforms 的结构及用法，以及诸如 ToTensor、Normalize、 Resize、 Compose、 RandomCrop 等的常用的函数的用法。
2022-10-24 07:41:57
922
原创 PyTorch（二）Dataset 与 DataLoader
本文主要介绍了 Pytorch 中 Dataset 和 DataLoader 两个类的区别以及使用方法。
2022-10-03 15:31:59
1576
原创 PyTorch（一）安装与环境配置
本篇文章主要介绍了在使用 PyTorch 之前需要进行的准备工作，包括 conda 和 CUDA 的安装，以及用到的编译器及其各自的特点等内容。
2022-08-30 19:24:42
1595
原创 机器学习（十八）应用实例：照片OCR
本篇文章主要介绍了一种叫做照片 OCR 的机器学习的应用实例，它注重的问题是如何让计算机读出图片中的文字信息，随后我们介绍了流水线的概念；在滑动窗口中通过行人检测和文本检测的例子来说明滑动窗口的作用；在人工数据合成中我们讨论了人工数据合成的两种方法，从零开始生成新数据，或是扩充一个已有的训练集；上限分析是个很有用的工具，可以用来衡量模块，当我们想花精力到某个模块上时，我们可以确定这样做会不会有效果，整个系统的表现会不会产生明显的提高。......
2022-08-18 22:55:48
1689
原创 机器学习（十七）大规模机器学习
本篇文章主要介绍了大规模的机器学习，通过找出合理的计算方法或高效的计算方法来处理庞大的数据集；随机梯度下降算法在每次迭代中不需要考虑全部的训练样本，只需考虑一个样本，因此要快得多；小批量梯度下降算法在好的条件下会比随机梯度下降算法和批量梯度下降算法都要快；在随机梯度下降收敛中介绍了一种方法来近似地检验随机梯度下降算法在优化代价函数中的表现；在线学习机制与随机梯度下降算法非常类似，但不会使用一个固定的数据集；在映射归约与数据并行中我们介绍了MapReduce方法来并行化计算机器学习问题。...
2022-08-11 20:13:11
1266
原创 机器学习（十六）推荐系统
本篇文章主要介绍了推荐系统，首先介绍了推荐系统问题的主要形式；在基于内容的推荐算法中介绍了如何将变量应用到线性回归中来预测不同用户对不同电影的评级；在协同过滤中介绍了一个方法来做推荐系统，它不是基于内容的，并且不假设已经得到这些所有的电影的特征；随后介绍了协同过滤算法，它可以同时学习几乎所有电影的特征和所有用户参数；在低秩矩阵分解中介绍了如何使用一个向量化的实现来计算所有用户对所有电影的评分预测值；最后介绍了均值归一化，它作为协同过滤算法的预处理步骤，有时能让算法表现得更好一些。......
2022-08-06 11:09:34
2123
原创 机器学习（十五）异常检测
本篇文章主要介绍了异常检测，首先直观描述了问题，随后定义了异常检测；高斯分布部分介绍了高斯函数的图像特征以及如何用其拟合数据；算法部分我们讨论了如何估计p(x)的值使来开发异常监测的算法；开发和评估异常检测系统中介绍了划分带标签和无标签的数据的方法；开发和评估异常检测系统中介绍了评估一个异常检测算法的步骤；特征选择中介绍了如何选择特征以及对特征进行转换；多元高斯分布最重要的优势就是可以描述两个特征变量之间可能存在正（负）相关的情况；用多元高斯分布来做异常检测能实现自动地捕捉正样本和负样本各种特征间的联系。.
2022-07-29 11:23:13
6232
原创 机器学习（十四）无监督学习：降维
本篇文章主要介绍了降维的相关内容，以及两个应用：数据压缩可以使得某些算法运行得更快；可视化部分则是将数据画出来并更好的理解他们。在使用 PCA 之前首先要进行数据预处理。PCA 所做的是尝试找到一个面或线，把数据投影到这个面或线上，以便于最小化平方投影误差。主成分数字选择中介绍了一种高效的方法来选择 k。文中总结了 PCA 的主要应用，也指出了两个误区并给出了相应的建议：使用 PCA 来防止过拟合可能会导致重要数据的丢失；在设计一个机器学习系统时，只有在原始数据训练学习算法不能达到目的时才考虑使用压缩表示。
2022-03-10 21:26:59
4192
1
原创 机器学习（十三）无监督学习：聚类算法
本文主要介绍了聚类算法的相关内容。首先复习了无监督学习的内容以及聚类算法的应用。其次从直观上介绍了 K 均值算法，以及该算法的规范表达和具体的应用（分离不佳的簇）。在优化目标的部分提到了失真代价函数，同时也对 K 均值算法进行了补充。随机初始化 K 均值算法适用于聚类数目相对较小的聚类方法，有时可以帮助我们找到对数据进行聚类的更好的方法。聚类数量 K 仍然是通过手动、人工输入或者用经验来决定。一种可以尝试的方法是使用“肘部原则”，但不会期望它每次都有效果。选择聚类的更好的思考运行 K 均值聚类的目的是什么。
2022-02-22 21:21:44
3620
原创 机器学习（十二）支持向量机
本篇文章主要介绍了支持向量机（以下简写为 SVM）的相关内容，首先在逻辑回归的代价函数的基础上进行修改，引出了 SVM 的优化目标。随后解释了大间距分类器这种叫法的具体含义，即 SVM 会选择尽量把正负样本以最大间距分开的假设模型，以及其数学原理。接着介绍了核函数这部分的概念以及我们如何在支持向量机中使用它们。在构造判别边界时需要注意参数的选择。除此之外，在使用 SVM 的过程中需要进行核函数的选择。最后介绍了不同的情况下，应该选择使用哪种方法。
2022-02-11 22:16:52
913
原创 机器学习（十一）机器学习系统设计
本文主要介绍了机器学习系统设计的相关问题。首先通过垃圾邮件分类的例子来展示操作过程，随后介绍了提高精准度和降低错误率的一些方法，以及一些在机器学习开发或应用时的推荐的方法：先通过一个简单的算法来快速的实现目标，随后画出相应的学习曲线便于后续的判断，最后进行误差分析。随后介绍了评估度量值的重要性。为了解决偏斜类问题，引入了查准率和召回率的概念，对于如何在二者之间抉择的问题，应当采用调和平均数对两者进行结合进一步来挑选临界值。最后，对于一个算法应当有足够多的参数和足够大的训练集。
2022-02-04 23:46:16
2232
原创 机器学习（十）偏差和方差问题
本文主要介绍了偏差和方差问题以及判断这些问题用的方法以及这些概念的含义。首先提供了一些可以改进算法性能的方法。随后在评估假设中通过将数据集分割成两部分来进行训练和测试；在模型选择问题中则通过分割成三部分来进行训练和测试。在诊断偏差与方差中，通过交叉验证误差和训练误差在不同多项式次数下的大小关系来区分高偏差和高方差。为了进一步解决过拟合问题，选择对模型进行正则化处理，其关键在于确定合适的正则化参数。学习曲线可以用来检查算法运行是否一切正常或者改进算法的表现。最后回顾了开始提到的几种方法，进一步对其进行了区分。
2022-01-28 21:58:21
1509
原创 机器学习（九）神经网络的学习与实现算法
本文主要介绍了神经网络中的代价函数、具体实现的反向传播算法、计算过程中的技巧（展开参数）、梯度检测、随机初始化以及神经网络的应用。反向传播算法主要用于计算偏导项，其过程与前向传播法大致相同只是方向不同。展开参数就是通过矩阵和向量的互相转换来实现高级最优化步骤中的使用需要。梯度检测主要讲了从数值上计算梯度的方法，去验证反向传播算法的实现是正确的。随机初始化则是为了解决对称权重问题，避免最后的逻辑回归单元只能得到一个特征。
2022-01-24 23:50:50
1020
6
原创 机器学习（八）神经网络的表示及工作原理
本文主要介绍了神经网络的相关内容，包括起源、模型的建立、工作原理以及几个直观的实例。神经网络最初是为了模拟人类大脑而建立的，希望可以实现只通过一个算法对不同类型的数据进行处理。在模型的建立中，首先通过逻辑单元来模拟神经元的工作，不同的神经元连接在一起后可以形成神经网络，包含输入层，输出层和隐藏层。神经网络的工作原理实际上就是前向传播，即从输入特征后逐层计算到输出结果。在具体例子中，通过建立逻辑与、逻辑或、逻辑非的神经元，再将其进行组合得到了可以表示异或非的神经网络；除此之外，神经网络还可以解决多元分类问题。
2022-01-20 19:14:33
2194
1
原创 机器学习（七）过拟合问题与正则化
本文主要介绍了正则化的相关内容，先是通过过拟合问题来引出正则化，随后讲了正则化的应用，进而讲解了如何在线性回归和逻辑回归中对不同的算法实现正则化。简单来说，过拟合问题是对数据的拟合过度，像是为了拟合数据而拟合，导致假设函数不能实现对数据的泛化，其图像上下波动扭曲变形。正则化是通过添加惩罚项来减小特征量的在假设函数中的量级，进而实现假设模型的简化，使其更不容易出现过拟合问题。正则化在线性回归以及逻辑回归中的应用都是通过在代价函数中添加变量的惩罚项来实现的。
2022-01-15 23:20:36
948
2
原创 机器学习（六）logistic 回归算法
本文主要介绍了分类问题的概念以及在逻辑回归算法中的假设表示、决策边界、代价函数及其简化与梯度下降、高级优化以及多元分类中一对多方法的原理。假设表示则是在一个分类问题里选择一个方程来表示假设。决策边界可以实现对数据的划分，但它并不是数据集的属性。理想状态下，代价函数应当为凸函数。逻辑回归中的梯度下降形式上与线性回归相同，但是由于二者假设的定义不同，所以并不是同一种方法。高级优化在大型的机器学习问题中，往往比梯度下降更占优势。多元分类中的一对多分类方法则是通过选出效果最好的分类器来简化问题。
2022-01-13 23:14:32
1828
原创 机器学习（五）Octave的使用介绍
本文主要介绍了 Octave 的一些基本操作以及对数据的移动、计算、绘制，以及控制语句的实现和向量化的概念。其中基本操作包括基本运算、对变量和矩阵的建立以及使用；移动数据包括计算矩阵的大小以及通过文件来加载数据并对数据进行查找；绘制图像包括单独成像、重合成像和分块成像；除此之外还有控制语句的使用以及函数的定义和使用；最后介绍了一个在实际操作中很有用的思想——向量化的思想，在此基础上合理地运用库函数来实现代码的优化。
2022-01-07 18:20:14
4212
5
原创 机器学习（四）多元线性回归和正规方程
本文介绍了多元线性回归以及两个相关的算法，分别是多元梯度下降法以及正规方程法，除此之外还讨论了特征以及多项式回归的问题。多元线性回归是一种新的线性回归版本，适用于多个变量或者多特征量的情况。多元梯度下降法是在原来的梯度下降算法的基础上引入了多变量，当不同的特征取值范围相差太大时需要要进行特征缩放，除此之外，多元梯度下降法中还介绍了正确选择学习率的方法以及选择不恰当时会出现的问题。对于正规方程法，只要特征变量的数目并不大，它在线性回归模型中比梯度下降法更具有优势。
2022-01-04 21:50:14
1700
原创 机器学习（三）矩阵的运算及性质
本文简单的复习了一下机器学习中用到的一些关于矩阵的基本知识，包括矩阵的加法乘法、逆运算、转置等，同时也简单的介绍了一下如何使用Octave计算矩阵的逆。
2022-01-02 13:32:38
2678
原创 机器学习（二）代价函数和梯度下降
主要讲了线性回归模型、梯度下降算法以及二者相组合得到的线性回归的梯度下降算法，其中着重介绍了线性回归模型的代价函数中的平方差代价函数，用来表示线性回归模型的拟合程度，其数值越小，拟合的效果就越好。梯度下降的思想是每次朝下降幅度最大的方向前进，直至找到局部最优解，其中梯度下降算法公式中的学习效率α要适中，且在梯度下降过程中不需要修改。线性回归的梯度下降算法由于线性回归代价函数的特殊性，每次必然会找到且唯一的一个解，即全局最优解，该方法的每一步梯度下降需要遍历整个训练集的样本。
2022-01-01 20:28:07
2214
原创 机器学习（一）监督学习和无监督学习
本文简单地介绍了一下监督学习和无监督学习两个算法的概念以及应用，两个算法的区别就在于监督学习从一开始给出了数据的“正确答案”而无监督学习则不会给出。同时还着重介绍了监督学习中的回归问题和分类问题，二者都是对数据进行预测，区别在于回归问题预测的是连续的数据，而分类问题预测的是离散的数据无监督学习中的聚类算法和鸡尾酒舞会算法，聚类算法应用广泛，简而言之就是通过算法将数据集划分成不同的集合，鸡尾酒舞会算法则作为例子引出了Octave在开发过程中的重要性。
2021-12-31 23:44:34
1099
2
原创 海明码的形象化理解
文章目录前言正文前言2021.11.16今天讲的海明码和CRC码真的是阴间，但是能想出创造出这些东西的一定都是大数学家、都是天才。正文简单说一说海明码为什么能检测出错误的位数（假设错误位有且只有一位）：课间的时候同学告诉我这个可以用老鼠实验来理解，对应的题目如下：原文链接：老鼠试药——二进制算法简单来说毒药那一瓶就是所有死去老鼠喝的药水对应的交集，又因为每个老鼠都能确定一位，有药的那瓶自然就确定下来了汉明码中插入的k位检测位对应k只老鼠为什么要按照Ci（i=1,2,4…）的位置将检测位
2021-11-16 11:04:54
595
原创 Java学习笔记（三）
系列文章目录Java学习笔记（一）Java学习笔记（二）Java学习笔记（三）文章目录系列文章目录前言一、总结前言准备学习课程：一、总结提示：这里对文章进行总结：例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。...
2021-10-24 08:53:04
596
原创 Java学习笔记（二）
Java学习笔记学习目标：学习内容：传送门:学习时间：学习笔记：Ⅰ面向对象的基础认知Ⅱ面向对象特性之封装Ⅲ面向对象特性之继承和多态Ⅳ天气预报项目的实现零碎学习目标：一周掌握 Java 入门知识学习内容：imooc课程：Java入门第二季 升级版Ⅰ面向对象的基础认知Ⅱ面向对象特性之封装Ⅲ面向对象特性之继承和多态Ⅳ天气预报项目的实现传送门:Java学习笔记（一）Java学习笔记（二）Java学习笔记（三）学习时间：1、 周一至周五晚上 10 点—晚上10:30点2、 周日下午
2021-09-29 16:56:36
291
原创 爬虫学习笔记（总）
本篇文章是对爬虫笔记系列文章的汇总，包含爬虫的介绍、request的使用、数据解析和验证码识别、异步爬虫、scrapy框架、增量式爬虫以及异步编程等内容。
2021-09-01 14:34:51
3387
3
原创 爬虫学习笔记（补充内容）异步编程
文章目录前言补充内容：协程 & asyncio & 异步异步编程（课程简介）1.协程1.1greenlet实现协程1.2 yield关键字1.3asyncio1.4async & await 关键字2.协程的意义3.异步编程3.1 事件循环3.2 快速上手3.3 await3.4 Task对象3.5 asyncio.Future对象3.6 concurrent.futures.Future对象3.7异步迭代器3.8异步上下文管理器4.uvloop5.实战案例5.1 异步redis
2021-09-01 14:30:44
487
原创 爬虫学习笔记（第九章）增量式爬虫
文章目录前言第九章增量式爬虫1.知识点2.代码前言2021.08.30第九章比较少第九章增量式爬虫1.知识点增量式爬虫概念：监测网站数据更新的情况，只会爬取网站最新更新出来的数据。分析：指定一个起始url基于CrawlSpider获取其他页码链接基于Rule将其他页码链接进行请求从每一个页码对应的页面源码中解析出每一部电影详情页的url核心： 检测电影详情页的url之前有没有请求过将爬取过的电影详情页url存储存储到redis的set数据结构中对详情页
2021-08-30 20:14:34
202
原创 爬虫学习笔记（第八章）Scrapy框架[下]
第八章章节文章目录第八章章节前言6.请求传参7.图片数据爬取之ImagesPipeline8.中间件①知识点②代码Ⅰ拦截请求Ⅱ拦截响应9.CrawlSpider10.分布式爬虫前言2021.8.30完成第八章的学习6.请求传参请求传参使用场景：如果要爬取的数据不在同一张页面中。（深度爬取）需求：爬取boss的岗位名称，岗位描述（原网站似乎改为动态加载数据，代码不可用，仅供参考）代码如下：settings.py常规操作：# Crawl responsibly by i
2021-08-30 12:51:27
540
原创 爬虫学习笔记（第八章）Scrapy框架[上]
文章目录前言第八章scrapy框架1.基础了解2.scrapy数据解析3.scrapy持久化存储Ⅰ知识点Ⅱ代码部分①基于终端指令②基于管道Ⅲ面试题(代码有报错，暂未解决)4.基于spider的全站数据爬取5.五大核心组件前言2021.8.30完成第八章的学习第八章scrapy框架1.基础了解什么是框架？就是一个集成了很多功能并且具有很强通用性的一个项目模板。如何学习框架？专门学习框架封装的各种功能的详细用法。什么是scrapy？爬虫中封装好的一个明星框架。功能：
2021-08-30 12:51:03
312
原创 爬虫学习笔记（第七章）动态加载数据处理
文章目录前言第七章一、selenium模块的基本使用1.selenium使用流程知识点部分代码部分①展示代码②selenium模块使用样例③selenium其它动态操作④动作链和iframe操作⑤模拟QQ空间登录⑥谷歌无头浏览器&反检测2.12306模拟登录前言2021.08.08弄完第七章。第七章一、selenium模块的基本使用问题：selenium模块和爬虫之间具有怎样的关联？1.便捷的获取网站中动态加载的数据2.便捷的实现模拟登录什么是selenium模块？
2021-08-08 16:08:24
633
原创 爬虫学习笔记（第六章）高性能异步爬虫
文章目录前言第六章1.知识点2.实战①单线程爬取数据②线程池爬取数据③爬虫中应用线程池（动态加载的video标签待解决）④协程⑤多任务异步协程01前言2021.08.01协程听得有点蒙，弄完第六章。后面还差一点，一会再补上，过了12点就2号了。提示：以下是本篇文章正文内容，下面案例可供参考第六章1.知识点高性能异步爬虫目的：在爬虫中使用异步实现高性能的数据爬取操作。异步爬虫的方式：1.多线程、多进程（不建议）：好处：可以为相关阻塞的操作单独开启线程或进程，阻塞操作就可以异步执
2021-08-01 23:46:37
433
1
原创 爬虫学习笔记（第五章）requests进阶
文章目录前言第五章1.模拟登录2.实战①人人网模拟登录（src反爬待解决）②爬取用户信息（咱没有人人网账号，代码仅供参考）3.模拟登录Cookie操作4.代理前言2021.08.01弄完第五章。第五章1.模拟登录模拟登录：爬取基于某些用户的用户信息。2.实战①人人网模拟登录（src反爬待解决）需求：对人人网进行模拟登录（人人网，注册不了，可以跳了）。点击登录按钮之后会发起一个post请求；post请求中会携带登录之前录入的相关的登录信息（用户名、密码、验证码等）；
2021-08-01 16:54:32
360
原创 爬虫学习笔记（第四章）验证码识别
文章目录前言第四章验证码识别验证码和爬虫之间的关系实战：识别古诗文网登录页面中的验证码。前言 2021.07.29第四章似乎不是很多，后面几章好像也不多。第四章验证码识别验证码和爬虫之间的关系反爬机制：验证码。识别验证码图片中的数据，用于模拟登陆操作。识别验证码的操作：人工肉眼识别。（不推荐）第三方自动识别。（推荐）云打码（http://www.yundama.com/demo.html 支持的类型最全）（教程里显示要花钱，
2021-07-29 11:42:00
776
1
原创 爬虫学习笔记（第三章）数据解析
文章目录前言第三章一、理论知识二、图片爬取(爬一张)三、正则解析(爬一页)四、正则解析(分页爬)五、bs4解析基础六、bs4解析案例实战七、xpath解析基础八、xpath实战①案例一：58二手房②案例二：下载图片数据③案例三：解析出所有城市名④案例四：爬取站长素材中免费简历模板前言 2021.07.27放假了，这两天在忙其它事，这几天回来继续学 2021.07.28学完了第三章；搞完了第三章第三章
2021-07-28 20:31:16
739
空空如也
如何屏蔽在推荐栏里的blink内容？
2021-08-24
TA创建的收藏夹 TA关注的收藏夹
TA关注的人