- 博客(21)
- 收藏
- 关注
RSS订阅原创 天池-街景字符编码识别-模型集成
文章目录集成学习方法介绍深度学习中的集成学习DropoutTTASnapshot结果后处理集成学习方法介绍在机器学习中的集成学习可以在一定程度上提高预测精度，常见的集成学习方法有Stacking、Bagging和Boosting，同时这些集成学习方法与具体验证集划分联系紧密。由于深度学习模型一般需要较长的训练周期，如果硬件设备不允许建议选取留出法，如果需要追求精度可以使用交叉验证的方法。那么在10个CNN模型可以使用如下方式进行集成：对预测的结果的概率值进行平均，然后解码为具体字符；对预测的字
2020-06-01 04:15:08
388
原创 天池-街景字符编码识别-模型训练与验证
文章目录介绍构造验证集模型训练与验证模型保存与加载模型调参流程介绍一个成熟合格的深度学习训练流程至少具备以下功能：在训练集上进行训练，并在验证集上进行验证；模型可以保存最优的权重，并读取权重；记录下训练集和验证集的精度，便于调参。下面一一介绍构建验证集、模型训练和验证、模型保存与加载和模型调参。构造验证集在机器学习模型（特别是深度学习模型）的训练过程中，模型是非常容易过拟合的。深度学习模型在不断的训练过程中训练误差会逐渐降低，但测试误差的走势则不一定。在模型的训练过程中，模型只能利用训
2020-05-30 18:24:43
349
原创 linux 安装redis 步骤
最近在linux服务器上需要安装redis，来存放数据，增加用户访问数据的速度，由于是第一次安装，于是在百度上搜了一篇文章，按照这篇博客，顺利安装好了，因此将博主的文章拷过来记录一下，方便以后使用，也为需要的朋友提供一个方便，参考博文地址：https://www.cnblogs.com/happywish/p/10944253.html安装：获取redis资源 wget http://download.redis.io/releases/redis-4.0.8.tar.gz解压 tar x
2020-05-27 16:18:27
190
原创 推荐系相关概念
文章目录推荐概念信息过滤系统推荐 搜索区别推荐和 web项目区别Lambda 架构介绍离线计算和实时计算共同提供服务的问题离线计算优缺点实时计算优缺点离线计算的框架实时计算的框架消息中间件存储相关推荐算法架构召回排序策略调整推荐模型构建流程数据收集特征工程训练模型评估、模型上线协同过滤思路介绍CF 物以类聚人以群分做协同过滤的话 首先特征工程把 用户-物品的评分矩阵创建出来基于用户的协同过滤基于物品的协同过滤相似度计算余弦相似度、皮尔逊相关系数杰卡德相似度使用不同相似度计算方式实现协同过滤如果 买/没买 点
2020-05-27 02:36:27
395
原创 天池-街景字符编码识别-字符识别模型
文章目录CNN介绍CNN发展Pytorch构建CNN模型CNN介绍卷积神经网络（简称CNN）是一类特殊的人工神经网络，是深度学习中重要的一个分支。CNN在很多领域都表现优异，精度和速度比传统计算学习算法高很多。特别是在计算机视觉领域，CNN是解决图像分类、图像检索、物体检测和语义分割的主流模型。CNN每一层由众多的卷积核组成，每个卷积核对输入的像素进行卷积操作，得到下一次的输入。随着网络层的增加卷积核会逐渐扩大感受野，并缩减图像的尺寸。CNN是一种层次模型，输入的是原始的像素数据。CNN通过卷积（c
2020-05-26 20:19:42
304
原创 天池-街景字符编码识别-数据读取与数据扩增
文章目录图像读取1.Pillow2.OpenCV数据扩增方法数据扩增介绍常见的数据扩增方法常用的数据扩增库Pytorch读取数据图像读取赛题的任务是识别图像中的字符。因此我们首先需要完成对数据的读取操作，在Python中有很多库可以完成数据读取的操作，比较常见的有Pillow和OpenCV。1.PillowPillow是Python图像处理函式库(PIL）的一个分支。Pillow提供了常见的图像读取和处理的操作，而且可以与ipython notebook无缝集成，是应用比较广泛的库。from PI
2020-05-21 13:44:28
532
1
原创 天池-街景字符编码识别-赛题理解
文章目录赛题数据数据集介绍目标字段表评测指标结果提交赛题思路分析赛题数据数据集介绍赛题数据来源自Google街景图像中的门牌号数据集（The Street View House Numbers Dataset, SVHN），并根据一定方式采样得到比赛数据集。训练集数据包括3W张照片，验证集数据包括1W张照片，每张照片包括颜色图像和对应的编码类别和具体位置*数据集样本展示目标识别图片中所有的字符字段表所有的数据（训练集、验证集和测试集）的标注使用JSON格式，并使用文件名进行索引。如果一个文
2020-05-20 14:04:14
446
原创 机器学习基础-SVM算法解析
文章目录1 概念2 SVM原理3 SVM分类3.1 硬间隔线性SVM3.2 软间隔线性SVM3.3 核函数3.4 多分类SVM4 API5 代码实现1 概念超平面：超平面是平面的一般化在一维的平面中，它是点在二维的平面中，它是线在三维的平面中，它是面在更高的维度中，我们称之为超平面分离超平面：将两类数据进行分离的超平面，分离超平面一般会有多个间隔：超平面与和它最接近的数据点之间...
2020-05-08 02:57:08
1456
原创 机器学习基础-条件随机场解析
1 概述条件随机场模型(CRF)是Lafferty于2001年，在最大熵模型和隐马尔科夫模型的基础上,提出的一种判别式概率无向图学习模型,是一种用于标注和切分有序数据的条件概率模型。CRF最早是针对序列数据分析提出的,现已成功应用于自然语言处理(Natural Language Processing, NLP)、 生物信息学、机器视觉及网络智能等领域。与条件随机场相关的各模型之间的关系2...
2020-05-07 14:37:43
340
原创 机器学习基础-最大期望(EM)算法解析
1 相关概念1.1 极大似然估计法1.1.1 明确极大似然函数的目的随机变量的概率分布往往由少量的参数定义（也叫做有效统计量）只要计算出这些参数我们就确定了这个分布的情况极大似然估计就是用来估计这个参数的例如：二项分布：P(x)仅由由一个参数p决定，极大似然估计就要估计p正态分布：正态分布由均值μ\muμ和方差σ2σ^2σ2决定,极大似然估计就要估计μ\muμ和σ2σ^2σ...
2020-05-07 00:30:47
809
原创 机器学习基础-朴素贝叶斯算法解析
文章目录1 相关概念（生成模型、判别模型)2 先验概率、条件概率3 贝叶斯决策理论4 贝叶斯定理公式5 极值问题情况下的每个类的分类概率6 下溢问题如何解决7 零概率问题如何解决？8 优缺点9 sklearn参数详解，Python绘制决策树1 相关概念（生成模型、判别模型)生成模型：在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数...
2020-05-05 18:23:47
665
原创 机器学习基础-线性回归解析
文章目录1 基础概念1.1 什么是回归分析1.2 线性回归为何叫线性？1.3 举例数据2 模型建立2.1 线性回归原理2.2 线性回归模型3 学习策略-线性回归损失函数、代价函数、目标函数4 线性回归的优化方法4.1 梯度下降法4.2最小二乘法矩阵求解4.3 牛顿法4.4 拟牛顿法5 线性回归的评估指标6 sklearn.linear_model参数详解7 代码1 基础概念1.1 什么是回归...
2020-05-05 03:23:32
452
原创 计算机视觉基础-图像处理-边缘检测
基础概念什么是边缘？边缘是图像强度函数快速变化的地方，边缘检测的目的就是找到图像中亮度变化剧烈的像素点构成的集合，表现出来往往是轮廓。如果图像中边缘能够精确的测量和定位，那么，就意味着实际的物体能够被定位和测量，包括物体的面积、物体的直径、物体的形状等就能被测量如何检测边缘？为了检测边缘，我们需要检测图像中的不连续性，可以使用导数来检测不连续性。导数也会受到噪声的影响，因此建议在求导数之前...
2020-05-01 12:44:08
3014
原创 计算机视觉基础-图像处理之图像分割/二值化
阈值分割基本概念阈值分割法分为全局阈值法和局部阈值分割法。所谓局部阈值分割法是将原始图像划分成较小的图像，并对每个子图像选取相应的阈值。在阈值分割后，相邻子图像之间的边界处可能产生灰度级的不连续性，因此需用平滑技术进行排除。局部阈值法常用的方法有灰度差直方图法、微分直方图法。局部阈值分割法虽然能改善分割效果，但存在几个缺点： （1）每幅子图像的尺寸不能太小，否则统计出的结果无意义。 （2...
2020-04-30 03:53:44
3726
原创 机器学习算法基础-开发流程、学习策略、算法求解、性能指标
文章目录1、基本概念2、开发流程3、学习策略：损失函数、代价函数、目标函数、正则化3.1 损失函数3.2 代价函数3.3 正则化3.4 如何选择好的损失函数4、算法求解：梯度下降法、牛顿法、拟牛顿法等4.1、梯度下降法4.2、牛顿法（Newton's method）4.3、拟牛顿法（Quasi-Newton Methods）4.4、共轭梯度法（Conjugate Gradient）5、性能评价指标...
2020-04-28 18:04:15
465
原创 图像处理之图像滤波
1、图像滤波的分类和基本概念概念图像滤波，即在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，是图像预处理中不可缺少的操作。图像滤波的目的有两个：1、抽出对象的特征作为图像识别的特征模式；2、为适应图像处理的要求，消除图像数字化时所混入的噪声。滤波处理的要求是不能损坏图像的轮廓及边缘等重要信息，且使图像清晰视觉效果好。分类图像滤波分为线性滤波和非线性滤波线性滤波：对邻域中的...
2020-04-27 18:29:50
6103
原创 图像处理之彩色空间互转
1、颜色空间的基础知识RGB（红绿蓝）是依据人眼识别的颜色定义出的空间，可表示大部分颜色，将色调，亮度，饱和度三个量放在一起表示。灰度图，Gray Scale Image 或是Grey Scale Image，又称灰阶图。把白色与黑色之间按对数关系分为若干等级，称为灰度。灰度分为256阶。用灰度表示的图像称作灰度图。很多算法只对灰度图有效，所以彩色图转灰度是十分重要和关键的2、彩色空间互转...
2020-04-25 23:52:46
240
原创 图像处理之几何变换
几何变换的概念与应用 几何变换是将一幅图像中的坐标位置映射到另一幅图像中的新坐标位置，改变图像的几何位置、几何形状、几何尺寸等几何特征。其实质是改变像素的空间位置，估算新空间位置上的像素值。包括图像的平移变换、镜像变换、转置变换、旋转变换、图像缩放。 例如在车牌识别的预处理中，首先就需要对倾斜的车牌进行矫正，然后再进行其他处理。 图像集合变换的表达式为(x,y)=T{(u,...
2020-04-23 12:54:16
1084
原创 计算机视觉图像处理-CV2与图像插值算法
计算机视觉图像处理-CV2与图像插值算法用最近邻插值与双线性插值原理完成图像缩放代码功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与...
2020-04-21 00:31:48
1736
转载 Python SMTP发送邮件
一、准备1、知识准备python对SMTP支持有smtplib和email两个模块，email负责构造邮件，smtplib负责发送邮件。2、smtplib用到的方法复制代码1 #coding=utf-82 import smtplib #引入包345 smtpObj = smtplib.SMTP() #创建对象6 smtpObj.connect() #连接smtp服务器7 s...
2018-11-29 12:16:44
820
原创 python中字符串拼接jion的用法
Python中的join()函数的用法函数：string.join()Python中有join()和os.path.join()两个函数，具体作用如下：join()： 连接字符串数组。将字符串、元组、列表中的元素以指定的字符(分隔符)连接生成一个新的字符串os.path.join()： 将多个路径组合后返回，拼接方法：1、只有一个以”/”开头的，参数从它开始往后拼接，之前的参数全...
2018-10-31 23:57:30
843
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人