学习杂记
全自动学习机器
不务正业使人收获快乐
展开
-
《统计学习方法》学习笔记_感知机(手写扫描)
感知机Perceptron由Rosenblatt于1957年提出,可以说是神经网络与支持向量机的爸爸。感知机是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面,属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面,为此,导入基于误分类的损失函数,利用梯度下降法对损失函数进行极小化,求得感知机模型。感知机学习算法具有简单而易于实现的优点,分为原始形式和对偶形式。感知机预测是用学习得到的感原创 2022-03-24 23:17:57 · 442 阅读 · 0 评论 -
《深度学习的数学》学习笔记(手写扫描)
《深度学习的数学》(人民邮电出版社)本书主要介绍了阶层型神经网络、卷积神经网络、梯度下降法以及误差反向传播法(BP)。书中语言风格比较俏皮,深入浅出。就是实战用的是Excel这点比较有个性…...原创 2022-03-21 18:27:53 · 1176 阅读 · 0 评论 -
《神经网络与深度学习》学习笔记_表示学习
表示学习:如何自动从数据中学习好的表示通过构建具有一定“深度”的模型,可以让模型来自动学习好的特征表示(从底层特征,到中层特征,再到高层特征),从而最终提升预测或识别的准确性原始数据——底层特征——中层特征——高层特征——预测——结果其中,“底层特征——中层特征——高层特征”称为表示学习1.特征提取VS表示学习特征提取:基于任务或先验对去除无用特征并不保证对分类器的结果有提供与帮助表示学习:通过深度模型学习高层语义特征对后续分类器有帮助难点在于没有明确目标2.表示学习与深度学习一个.原创 2022-03-18 21:22:33 · 859 阅读 · 0 评论 -
学习简记_特征工程
特征工程1.特征变换1.1连续变量无量纲化1.2连续变量离散化1.3类别特征转换2.特征组合3.特征评价吴恩达老师有言:“机器学习本质上还是特征工程,数据和特征决定了机器学习上限,模型和算法只是去尽可能逼近这个上限而已。”特征工程是基于原始特征,可以用变换、组合、评价优选及学习等方法来获得更强区分能力的特征。1.特征变换1.1连续变量无量纲化无量纲化指将不同规格的数据转换到同一规格,常见方法有标准化和区间缩放法。由于标准化的前提条件是特征值服从正态分布,略歪的可先用log处理。区间放缩法,常见利用原创 2022-03-04 23:33:21 · 580 阅读 · 0 评论 -
Python从文件夹中批量读取文件(显示进度)
如何从文件夹中批量读取图像,并划分数据集返回的是列表import osimport tqdmfrom tqdm import tqdm #显示进度from imageio import imreadfrom sklearn.model_selection import train_test_splitx=[]y=[]def INPUT_IMAGE(TRAIN_IMG_PATH,TRAIN_MASK_PATH): for filename in tqdm(os.listd原创 2022-02-25 14:52:49 · 2948 阅读 · 0 评论 -
模型的保存与下载
我们需要在模型训练完成后将模型保存到文件系统上,以便于我们后续的测试与部署。在训练大规模的网络时,为了减少在训练过程中被中断/宕机意外的损失,间歇性保存模型状态是个好习惯。1.张量方式model.save_weights('weights.ckpt')这种保存与加载网络的方式最为轻量级,文件中仅保存参数张量的数值,并没有额外的结构参数。但它需要使用相同的网络结构才能够恢复网络状态,因此一般在拥有网络源文件的情况下使用2.网络方式通过Model.save(path)函数可以将模型的结构以及模型的参原创 2022-02-22 23:08:46 · 1271 阅读 · 0 评论 -
真实场景篡改图像检测挑战赛
大赛名称:真实场景篡改图像检测挑战赛赛季名称:初赛数据形式数据包括训练集和测试集,训练集有4000张JPEG图像及对应Mask(分辨率与原图保持一致,像素值0表示该像素标识为未篡改,像素值1表示该像素标识为篡改),JPEG图像的EXIF信息均被擦除,除部分无后处理外,其它可能经过裁边、平滑、下采样、社交工具传输(没有使用组合方式);测试集有4000张JPEG图像,处理过程与训练集一致;允许使用集外数据进行训练学习。参赛者提交数据时,利用我们提供的python程序生成Mask,对4000张Mask打包转载 2022-02-18 23:44:07 · 731 阅读 · 0 评论 -
Python实用文档(持更)
学习时找到的文档收纳,持续更新原创 2022-02-16 20:28:24 · 785 阅读 · 0 评论 -
Numpy基础
扩展库Numpy简介参考资料:《Python可以这样学》(董付国)本文原来是写在jupyter notebook上的,转成了.md格式再复制到这里来的,如果你觉得这样看起来不方便,需要.ipynb格式,请私信我:)文章预览:扩展库Numpy简介1.生成数组2.数组与数值的算术运算3.数组与数组的算术运算4.二维数组转置5.向量内积6.数组元素访问多元素同时访问7.对数组进行函数运算8. 对矩阵不同维度上的元素进行计算9. 改变数组大小10.切片操作11.布尔运算12.广播13.分段函数14.计算唯一值原创 2022-01-30 22:34:40 · 602 阅读 · 0 评论 -
模型评估与选择
第2章 模型评估与选择1.经验误差与过拟合错误率(error rate):分类错误的样本数占样本总数的比例精度(accuracy):1-错误率误差(error):学习器的实际预测输出与样本真实输出之间的差异训练误差(training error)/经验误差(empirical error):学习器在训练集上的误差泛化误差(generalization error):学习器在新样本上的误差过拟合(overfitting):过配,把训练样本本身的一些特点当作了所有潜在样本都会具有的一般性质,大原创 2022-02-13 23:44:19 · 664 阅读 · 0 评论