- 博客(21)
- 收藏
- 关注
RSS订阅原创 Datawhale 零基础入门CV赛事学习笔记--第5次打卡
集成学习方法在机器学习中的集成学习可以在一定程度上提高预测精度，常见的集成学习方法有Stacking、Bagging和Boosting，同时这些集成学习方法与具体验证集划分联系紧密。由于深度学习模型一般需要较长的训练周期，如果硬件设备不允许建议选取留出法，如果需要追求精度可以使用交叉验证的方法。下面假设构建了10折交叉验证，训练得到10个CNN模型。那么在10个CNN模型可以使用如下方式进行集成：对预测的结果的概率值进行平均，然后解码为具体字符； 对预测的字符进行投票，得到最终字符。深
2020-06-02 20:52:59
158
原创 Datawhale 零基础入门CV赛事学习笔记--第4次打卡 模型训练与验证
1、构造验证集在机器学习模型（特别是深度学习模型）的训练过程中，模型是非常容易过拟合的。深度学习模型在不断的训练过程中训练误差会逐渐降低，但测试误差的走势则不一定。在模型的训练过程中，模型只能利用训练数据来进行训练，模型并不能接触到测试集上的样本。因此模型如果将训练集学的过好，模型就会记住训练样本的细节，导致模型在测试集的泛化效果较差，这种现象称为过拟合（Overfitting）。与过拟合相对应的是欠拟合（Underfitting），即模型在训练集上的拟合效果较差。如图所示：随着模型复.
2020-05-30 22:10:05
147
原创 Datawhale 零基础入门CV赛事学习笔记--第3次打卡-字符识别模型
1、CNN介绍卷积神经网络（简称CNN）是一类特殊的人工神经网络，是深度学习中重要的一个分支。CNN在很多领域都表现优异，精度和速度比传统计算学习算法高很多。特别是在计算机视觉领域，CNN是解决图像分类、图像检索、物体检测和语义分割的主流模型。CNN每一层由众多的卷积核组成，每个卷积核对输入的像素进行卷积操作，得到下一次的输入。随着网络层的增加卷积核会逐渐扩大感受野，并缩减图像的尺寸。CNN是一种层次模型，输入的是原始的像素数据。CNN通过卷积（convolution）、池化（poolin...
2020-05-26 20:29:30
183
原创 Datawhale 零基础入门CV赛事学习笔记--第2次打卡
数据读取与数据扩增 读取图像 Pillow是Python图像处理函式库(PIL）的一个分支。Pillow提供了常见的图像读取和处理的操作，而且可以与ipython notebook无缝集成，是应用比较广泛的库。OpenCV是一个跨平台的计算机视觉库，最早由Intel开源得来。OpenCV发展的非常早，拥有众多的计算机视觉、数字图像处理和机器视觉等功能。OpenCV在功能上比Pillow更加强大很多，学习成本也高很多。OpenCV包含了众多的图像处理的功能，OpenCV包含了你能想得到.
2020-05-23 19:19:14
182
原创 Datawhale 零基础入门CV赛事街景字符识别学习笔记--第1次打卡
安装python3.7版本、pytorch、jupyter、tqdm、opencv-python、matplotlib、pandas，在windows环境下安装的，没有GPU，安装的过程和教程中给的有点点差异，好在顺利安装完成 Baseline流程梳理： 1）定义读取图像的Dataset； 2）定义训练数据和验证数据的Dataset； 3）定义字符分类模型，使用ResNet18的模型进行特征提取； 4）定义训练、验证和预测模块；...
2020-05-20 22:44:32
157
原创 win10笔记本识别不到蓝牙鼠标的解决办法
这个真是颠覆 了我的认知。蓝牙鼠标罗技M337，没有蓝牙接收器，直接连接电脑的蓝牙，手机能识别到鼠标蓝牙，笔记本识别不了。在网上找了很多解决答案，多数是下面这个：开启蓝牙服务，在“服务”中找到对应服务并启动但是，经过以上的操作，并没有OK。最后解决了，但是解决办法竟然是卸载，然后关机重启，what？1）卸载蓝牙以下四个驱动，然后关机，重启。2）重启之后的驱...
2020-05-01 08:51:11
29354
6
原创 网络爬虫笔记-03
前两次的任务还没跟上，今天把工作的事情往后推，直接做task3，也不知道能不能跟上。3.1 任务内容各位好，本次学习内容session和cookie，ip代理知识，selenium的使用，拔高：实现丁香园的模拟登录爬取留言板，学习链接如下：https://github.com/datawhalechina/team-learning/tree/master/Python%E7%88%A...
2020-04-25 21:54:49
138
原创 网络爬虫笔记--02
这是一篇学习笔记，看了一点嵩天教授的Python网络爬虫与信息提取课程，又看了datawhale给的代码例子，把学习要点列在这里2.1 Beautiful Soup库入门学习beautifulsoup基础知识。 使用beautifulsoup解析HTML页面。 Beautiful Soup 是一个HTML/XML 的解析器，主要用于解析和提取 HTML/XML 数据。 它基于HTM...
2020-04-23 22:43:25
126
原创 网络爬虫笔记--01
纯零基础学习爬虫，开局来套“嵩天教授的Python网络爬虫与信息提取课程”，小白就要有小白的自觉，不贪多，要务实。引入1）The website is the API …2）学习路径：Requests获得网页信息，robots.txt网络爬虫排除标准，Beautiful.Soup解析HTML页面，Projects实战项目A/B，Re正则表达式详解，提取页面关键信息，Scrapy*网络爬...
2020-04-21 22:15:38
119
原创 零基础入门数据挖掘--二手车交易价格预测之三--模型融合
文本是学习笔记，原文地址：https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.15.1cd8593aaOdC4m&postId=955351、模型融合的目标 对于多种调参完成的模型进行模型融合。 完成对于多种模型的融合，提交融合结果并打卡。 2、内容介绍模型融合是比赛后期一个重...
2020-04-04 19:19:25
142
原创 零基础入门数据挖掘--二手车交易价格预测之三--建模与调参
本文是学习笔记，原文链接：https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.3.1cd8593ajCwkrt&postId=95460一、模型介绍性回归模型： 线性回归对于特征的要求； 处理长尾分布； 理解线性回归模型； 模型性能验证： 评价函数与目标函数； 交叉验证方法；...
2020-04-01 20:39:27
218
原创 零基础入门数据挖掘--二手车交易价格预测之一--特征工程
1）基于baseline，模型用xgboost，得分709。 特征包括：'gearbox', 'power', 'kilometer', 'v_0', 'v_1', 'v_2', 'v_3', 'v_4', 'v_5', 'v_6', 'v_7', 'v_8', 'v_9', 'v_10', 'v_11', 'v_12', 'v_13', 'v_14'。 baseline的jupy...
2020-03-28 19:17:31
424
转载 零基础入门数据挖掘--二手车交易价格预测之二--数据探索性分析
探索性数据分析的步骤1、简略观察数据head() shape2、数据总览通过describe()来熟悉数据的相关统计量 通过info()来熟悉数据类型3、判断数据缺失和异常查看每列的存在nan情况，pd.isnull().sum() 异常值检测，Train_data['notRepairedDamage'].value_counts()4、了解预测值的分布总体分布概...
2020-03-24 21:33:52
184
原创 python相关知识
1）python下的Pandas中DataFrame基本操作（一） 参考原文：https://blog.csdn.net/daydayup_668819/article/details/82315565 获取列名和行名，index: row labels；columns: column labels2）python下的Pandas中数据处理 参考原文：h...
2019-11-18 16:59:06
80
原创 零样本学习（相关网站）
1、零样本学习原理介绍 https://blog.csdn.net/Liangjun_Feng/article/details/82026574 https://zhuanlan.zhihu.com/p/34656727?spm=5176.9876270.0.0.3430e44aQUtl4x 内容概要： 1）零样本学习 Zero Short Lear...
2018-09-07 10:26:15
1209
原创 朴素贝叶斯
1、概率论基础条件概率：P(A|B)，联合概率：P(A,B)，联合概率公式：P(A,B)=P(A|B)P(B)=P(B|A)P(A)当A、B相互独立时，P(A|B)P(B)=P(A)
2018-08-16 20:17:27
98
原创 单因子分析与对比分析
1、方法概述集中趋势：均值、中位数与分位数、众数离中趋势：标准差、方差数据分布：偏态与峰态、正态分布与三大分布抽样理论：抽样误差、抽样精度1、方法详解均值：经常用于衡量连续值，尤其是分布比较规律的均匀的一些连续值的集中趋势中位数：有些值特别大，有些值特别小，用中位数来衡量数据的集中趋势众数：主要用在离散值的集中趋势衡量分位数：计算方法Q1的位置=（n+1）*0....
2018-08-16 20:05:25
918
原创 linux makefile 范例
这里只是将自己使用的过程记录下来，便于以后用到的时候查找，自己还不能熟练使用。1、首先共有五个文件，把他们和makefile文件放在test_limf文件夹下。他们是main.c C3_yml.c global.c ccu_func.c ccu_func.h，他们之间的调用关系为main.c调用C3_yml.c中的函数， C3_yml.c使用global.c和ccu_func....
2018-08-16 19:11:17
673
原创 快速排序的Java代码
1、快速排序，时间复杂度O(nlogn)package Algorithms;import java.util.Scanner;public class QuickSort { public static void main(String[] args) { System.out.println("input the number of array:"); Scanne
2015-07-14 14:29:34
244
原创 Java入门常见问题
这都是自己遇到的问题，有些很是菜鸟，在这里写下来，只是提供一个记录，以后再遇到相同问题可以到这里查询，一边学习，一边补充。 1、问题：调用Java构造函数的时候总是提示错误？解决方法：构造器不需要声明返回值类型，如类AList的构造函数为public Alist（）。
2015-07-14 10:06:25
145
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人