CCchantal的博客

原创 三十讲第五讲知识点思维导图整理

没有完全按宇哥第五讲知识结构来，这一讲主要重点还是在于如何画图，故在总结树立过如何求极值最值、拐点、单调性凹凸性、渐近线以及最值范围相关知识后通过概要的形式表述画图的步骤，步骤中涉及的知识点因为都是左边整理出来的故没有再仔细陈列。...

原创 三十讲第四讲知识点思维导图整理

这一讲内容太多了，本着不放过一个知识点的精神艰苦的把重要的导数推导公式函数还有知识点做题技巧全整理了。就显得有点乱…Anyway，为上岸而努力！冲冲冲！我要上岸！！！

原创 三十讲第三讲知识点思维导图整理

一点自己的总结心得，如有错误欢迎各位大佬指正~祝自己和各位大佬2022考研必上岸！

原创 三十讲第二讲知识点思维导图整理

一点自己的总结心得，如有错误欢迎各位大佬指正~祝自己和各位大佬2022考研必上岸！

原创 12.并发编程

12.并发编程12.1 并发与并行Erlang 之父 Joe Armstrong曾经以下图解释并发与并行。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IVhclXZ2-1608983109538)(./img/cor.jpg)]并发在图中的解释是两队人排队接咖啡，两队切换。并行是两个咖啡机，两队人同时接咖啡。“Concurrency is about dealing with lots of things at once. Parallelism is abou

原创 11.单元测试

11.单元测试本节代码样例见code/utest文件夹在日常开发中，我们通常需要针对现有的功能进行单元测试，以验证开发的正确性。在go标准库中有一个叫做testing的测试框架，可以进行单元测试，命令是go test xxx。测试文件通常是以xx_test.go命名，放在同一包下面。11.1 初探Go单元测试现在假设现在需求是：完成两个复数相加,我们只需要一个函数便可以完成该任务。在开发中，我们需要对该函数进行功能测试，如何快速进行单元测试呢？鼠标放在函数上右键，选择GO:Generat

原创 10.反射机制

10.反射机制10.1 反射是什么反射的概念是由Smith在1982年首次提出的，主要是指程序可以访问、检测和修改它本身状态或行为的一种能力。Go 语言提供了一种机制在运行时更新变量和检查它们的值、调用它们的方法，但是在编译时并不知道这些变量的具体类型，这称为反射机制。10.2 反射的作用1.在编写不定传参类型函数的时候，或传入类型过多时典型应用是对象关系映射type User struct { gorm.Model Name string Age

原创 task9：异常处理

9.异常处理9.1 errorGo语言内置了一个简单的错误接口作为一种错误处理机制，接口定义如下：type error interface { Error() string}它包含一个 Error() 方法，返回值为stringGo的error构造有两种方式，分别是第一种：errors.New()err := errors.New("This is an error")if err != nil { fmt.Print(err)}第二种：fmt.Errorf()err :=

原创 task8：包管理

8.包管理8.1 Go Modules是什么？Go语言通过包管理来封装模块和复用代码，这里我们只介绍Go Modules管理方法Go Modules于Go语言1.11版本时引入，在1.12版本正式支持，是由Go语言官方提供的包管理解决方案Modules是相关Go包的集合，是源代码交换和版本控制的单元。go命令直接支持使用Modules，包括记录和解析对其他模块的依赖性8.2 Go Modules的使用方法8.2.1 环境变量首先需要设置环境变量，可以使用go env命令查看当前配置。$ go

原创 task6结构体、方法、接口

7.结构体、方法、接口7.1.结构体Go 语言中没有“类”的概念，也不支持像继承这种面向对象的概念。但是Go 语言的结构体与“类”都是复合结构体，而且Go 语言中结构体的组合方式比面向对象具有更高的扩展性和灵活性。7.1.1 结构体定义结构体一般定义如下：type identifier struct { field1 type1 field2 type2 ...}例如我们想声明一个学生的结构体类型：type Student struct { Name string Age

原创 task06函数

6.函数6.1 函数定义在go语言中函数定义格式如下：func functionName([parameter list]) [returnTypes]{ //body}函数由func关键字进行声明。functionName：代表函数名。parameter list：代表参数列表，函数的参数是可选的，可以包含参数也可以不包含参数。returnTypes：返回值类型，返回值是可选的，可以有返回值，也可以没有返回值。body：用于写函数的具体逻辑例1:下面的函数是用于求两个数的

原创 task5：数组、切片

5.数组、切片5.1 数组5.1.1 如何定义数组数组是具有相同类型且长度固定的一组连续数据。在go语言中我们可以使用如下几种方式来定义数组。//方式一var arr1 = [5]int{}//方式二var arr2 = [5]int{1,2,3,4,5}//方式三var arr3 = [5]int{3:10}输出以上三个变量的值如下所示：arr1 [0 0 0 0 0]arr2 [1 2 3 4 5]arr3 [0 0 0 10 0]方法一在声明时没有为其指定初值，所以数

原创 task04字典、字符串

4.字典、字符串4.1 字典map是一种较为特殊的数据结构，在任何一种编程语言中都可以看见他的身影，它是一种键值对结构，通过给定的key可以快速获得对应的value。4.1.1 如何定义字典var m1 map[string]intm2 := make(map[int]interface{}, 100)m3 := map[string]string{ "name": "james", "age": "35",}在定义字典时不需要为其指定容量，因为map是可以动态增长的，但是在可以预知

原创 Day03go语言运算符、控制语句

3.运算符、控制语句3.1 运算符假定 A 值为 10，B 值为 20。3.1.1 算数运算符运算符描述实例+相加A + B 输出结果 30-相减A - B 输出结果 -10*相乘A * B 输出结果 200/相除B / A 输出结果 2%求余B % A 输出结果 0++自增A++ 输出结果 11–自减A-- 输出结果 93.1.2 关系运算符运算符描述==检查两个值是否相等，如果相等

原创 task2变量，常量，枚举

2.变量 、常量、枚举2.1 变量变量，计算机语言能存储计算结果或表示值的抽象概念。可以通过变量名访问，变量名由字母、数字、下划线组成，其中首个字符不能为数字。声明变量的一般形式是使用 var 关键字：var identifier typevar identifier1, identifier2 type变量声明方式：指定变量类型，若没有初始化，数值类型（包括complex64/128）默认零值，bool默认false，字符串默认“”，“var a *int、var a []int、var

原创 go:task01数据类型、关键字和标识符

1.数据类型、关键字、标识符1.1 数据类型1.1.1 按类别布尔型：只可以是常量 true 或者 false。eg:var b bool = true数字类型：整型和浮点型。位的运算采用补码字符串类型：字符串就是一串固定长度的字符连接起来的字符序列，Go 的字符串是由单个字节连接起来。Go 语言的字符串的字节使用 UTF-8 编码标识 Unicode 文本复数：complex128（64 位实数和虚数）和 complex64（32 位实数和虚数），其中 comple

原创 Day0：go语言初探&环境安装

1.go语言特性自动垃圾回收更丰富的内置类型函数多返回值错误处理匿名函数和闭包类型和接口并发编程反射语言交互性2.语言结构一个完整的go文件代码应具有以下几部分：包声明引入包函数变量语句 & 表达式注释加粗的为必有项例如：package main//包名import "fmt"//引入包func main() {//函数，这里是主函数 /* Always Hello, World! */ fmt.Println("Hello, W

转载 零基础入门金融风控 Task4 建模调参

原创 零基础入门金融风控 Task3 特征工程

3.1 内容介绍3.2 数据预处理在处理数据后总会不可避免的遇到数据缺失。在这里我们先学习数据缺失值的填充，时间格式特征的转化处理，某些对象类别特征的处理。3.2.1查找缺失值工作查找对象特征和数据特征：numerical_fea = list(data_train.select_dtypes(exclude=['object']).columns)category_fea = list(filter(lambda x: x not in numerical_fea,list(data_tra

转载 零基础入门金融风控 Task2 数据分析

2.1 学习目标学习如何对数据集整体概况进行分析，包括数据集的基本情况（缺失值，异常值）学习了解变量间的相互关系、变量与预测值之间的存在关系2.2 内容介绍2.3 代码示例2.3.1 导入数据分析及可视化过程需要的库import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as snsimport datetimeimport warningswarnings.filterw

原创 datawhale金融风控day1：赛题理解

1.2.1赛题概况比赛要求参赛选手根据给定的数据集，建立模型，预测金融风险。赛题以预测金融风险为任务，数据集报名后可见到下载，该数据来自某信贷平台的贷款记录，总数据量超过120w，包含47列变量信息，其中15列为匿名变量。的公平性，将会从中抽取80万条作为训练集，20万条作为测试集A，20万条作为测试集B，同时同步就业标题，目的，邮政编码和标题等信息进行脱敏。通过这道赛题来引导大家进入金融风控数据竞赛的世界，主要针对于于竞赛新人进行自我练习，自我提高。1.2.2 数据概况一般而言，对于数据在比赛界

转载 git常用命令

转自git常用命令开发模式git：分布式的版本管理系统，一般的开发模式：项目开始阶段初始化项目（init），提交本地的代码到仓库，将本地仓库的代码推送到远端库（push）；项目开发人员从远端库克隆代码到本机（clone），此时本地仅有一个master分支；新建dev分支并切换、在Dev分支中进行开发工作，其实就是修改并提交代码（add+commit）；当开发的dev分支的代码没问题时，将dev分支合并（merge）到master；将master推送到远端分支，至此，其他的项目开发人员就可以查看到你

原创 机器学习入门体验task3基于支持向量机的分类预测

在需要分类器给数据分类的时候，不仅要对已知的数据集进行分类，更要能对未知的数据集进行准确划分。因此引入最大间隔来帮助我们选择更好的分类器。最大间隔刻画着分类器与数据集的边界，而最接近边界的数据则称为支持向量，这时选择最优分类器的算法则称为支持向量机。

原创 机器学习入门体验task2

1.决策树的介绍决策树是一种常见的分类模型，在金融分控、医疗辅助诊断等诸多行业具有较为广泛的应用。决策树的核心思想是基于树结构对数据进行划分，这种思想是人类处理问题时的本能方法。例如在婚恋市场中，女方通常会先看男方是否有房产，如果有房产再看是否有车产，如果有车产再看是否有稳定工作……最后得出是否要深入了解的判断。决策树的主要优点：具有很好的解释性，模型可以生成可以理解的规则。可以发现特征的重要程度。模型的计算复杂度较低。决策树的主要缺点：模型容易过拟合，需要采用减枝技术处理。不能很好利用连续

原创 Datawhale组队学习-机器学习算法入门-基于逻辑回归的分类预测

1.逻辑回归原理简介当z≥0 时,y≥0.5,分类为1，当 z<0时,y<0.5,分类为0，其对应的y值我们可以视为类别1的概率预测值。Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别），所以利用了Logistic函数（或称为Sigmoid函数），函数形式为：对应的函数图像可以表示如下:import numpy as npimport matplotlib.pyplot as pltx = np.arange

原创 Datawhale零基础入门NLP day6/Task6基于深度学习的文本分类3

基于深度学习的文本分类学习目标了解Transformer的原理和基于预训练语言模型（Bert）的词表示学会Bert的使用，具体包括pretrain和finetune文本表示方法Part4Transformer原理Transformer是在"Attention is All You Need"中提出的，模型的编码部分是一组编码器的堆叠（论文中依次堆叠六个编码器），模型的解码部分是由相同数量的解码器的堆叠。我们重点关注编码部分。他们结构完全相同，但是并不共享参数，每一个编码器都可以拆解成两部

原创 Datawhale零基础入门NLP day5/Task5基于深度学习的文本分类2

基于深度学习的文本分类本章将继续学习基于深度学习的文本分类。学习目标学习Word2Vec的使用和基础原理学习使用TextCNN、TextRNN进行文本表示学习使用HAN网络结构完成文本分类文本表示方法 Part3词向量本节通过word2vec学习词向量。word2vec模型背后的基本思想是对出现在上下文环境里的词进行预测。对于每一条输入文本，我们选取一个上下文窗口和一个中心词，并基于这个中心词去预测窗口里其他词出现的概率。因此，word2vec模型可以方便地从新增语料中学习到新增词的向量

原创 Datawhale零基础入门NLP day4/Task4 基于深度学习的文本分类1

基于深度学习的文本分类与传统机器学习不同，深度学习既提供特征提取功能，也可以完成分类的功能。从本章开始我们将学习如何使用深度学习来完成文本表示。学习目标学习FastText的使用和基础原理学会使用验证集进行调参文本表示方法 Part2现有文本表示方法的缺陷在上一章节，我们介绍几种文本表示方法：One-hotBag of WordsN-gramTF-IDF也通过sklean进行了相应的实践，相信你也有了初步的认知。但上述方法都或多或少存在一定的问题：转换得到的向量维度很高，需要

原创 Datawhale零基础入门NLP day3/Task3 基于机器学习的文本分类

基于机器学习的文本分类在本章我们将开始使用机器学习模型来解决文本分类。机器学习发展比较广，且包括多个分支，本章侧重使用传统机器学习，从下一章开始是基于深度学习的文本分类。学习目标学会TF-IDF的原理和使用使用sklearn的机器学习模型完成文本分类机器学习模型机器学习是对能通过经验自动改进的计算机算法的研究。机器学习通过历史数据训练出模型对应于人类对经验进行归纳的过程，机器学习利用模型对新数据进行预测对应于人类利用总结的规律对新问题进行预测的过程。机器学习有很多种分支，对于学习者来说应该

原创 Datawhale零基础入门NLP day2/Task2 数据读取与数据分析

数据读取与数据分析本章主要内容为数据读取和数据分析，具体使用Pandas库完成数据读取操作，并对赛题数据进行分析构成。学习目标学习使用Pandas读取赛题数据分析赛题数据的分布规律数据读取赛题数据虽然是文本数据，每个新闻是不定长的，但任然使用csv格式进行存储。因此可以直接用Pandas完成数据读取的操作。import pandas as pdtrain_df = pd.read_csv('../input/train_set.csv', sep='\t', nrows=100)这里

原创 Datawhale零基础入门NLP day1/Task 1赛题理解

赛题理解赛题名称：零基础入门NLP之新闻文本分类赛题目标：通过这道赛题可以引导大家走入自然语言处理的世界，带大家接触NLP的预处理、模型构建和模型训练等知识点。赛题任务：赛题以自然语言处理为背景，要求选手对新闻文本进行分类，这是一个典型的字符识别问题。学习目标理解赛题背景与赛题数据完成赛题报名和数据下载，理解赛题的解题思路赛题数据赛题以匿名处理后的新闻数据为赛题数据，数据集报名后可见并可下载。赛题数据为新闻文本，并按照字符级别进行匿名处理。整合划分出14个候选分类类别：财经、彩票、房产、股票

原创 Datawhale 零基础入门CV赛事-Task5

5 模型集成本章讲解的知识点包括：集成学习方法深度学习中的集成学习和结果后处理思路。5.1 学习目标学习集成学习方法以及交叉验证情况下的模型集成学会使用深度学习模型的集成学习5.2 集成学习方法在机器学习中的集成学习可以在一定程度上提高预测精度，常见的集成学习方法有Stacking、Bagging和Boosting，同时这些集成学习方法与具体验证集划分联系紧密。由于深度学习模型一般需要较长的训练周期，如果硬件设备不允许建议选取留出法，如果需要追求精度可以使用交叉验证的方法。下面假

原创 datawhale零基础入门CV Task4

4 模型训练与验证4.1 学习目标理解验证集的作用，并使用训练集和验证集完成训练学会使用Pytorch环境下的模型读取和加载，并了解调参流程4.2 构造验证集在机器学习模型（特别是深度学习模型）的训练过程中，模型是非常容易过拟合的。深度学习模型在不断的训练过程中训练误差会逐渐降低，但测试误差的走势则不一定。在模型的训练过程中，模型只能利用训练数据来进行训练，模型并不能接触到测试集上的样本。因此模型如果将训练集学的过好，模型就会记住训练样本的细节，导致模型在测试集的泛化效果较差，这种现象称为过

原创 Datawhale 零基础入门CV赛事-Task3 字符识别模型

3 字符识别模型本章将会讲解卷积神经网络（Convolutional Neural Network, CNN）的常见层，并从头搭建一个字符识别模型。3.1 学习目标学习CNN基础和原理使用Pytorch框架构建CNN模型，并完成训练3.2 CNN介绍卷积神经网络（简称CNN）是一类特殊的人工神经网络，是深度学习中重要的一个分支。CNN在很多领域都表现优异，精度和速度比传统计算学习算法高很多。特别是在计算机视觉领域，CNN是解决图像分类、图像检索、物体检测和语义分割的主流模型。CNN每一层由

原创 datawhale零基础入门CV Task2

Datawhale 零基础入门CV赛事-Task2 数据读取与数据扩增在上一章节，我们给大家讲解了赛题的内容和三种不同的解决方案。从本章开始我们将逐渐的学习使用【定长字符识别】思路来构建模型，逐步讲解赛题的解决方案和相应知识点。2 数据读取与数据扩增本章主要内容为数据读取、数据扩增方法和Pytorch读取赛题数据三个部分组成。2.1 学习目标学习Python和Pytorch中图像读取学会扩增方法和Pytorch读取赛题数据2.2 图像读取由于赛题数据是图像数据，赛题的任务是识别图像中的字

原创 零基础入门CV task1

思路：使用CNN进行定长字符分类；运行系统要求：Python2/3，内存4G，有无GPU都可以(P.S. 环境一定要配置好！环境很重要）一、准备工作：1.gpu环境的“深入”：https://github.com/datawhalechina/dive-into-cv-pytorch/tree/master/beginner/chapter01_preliminary_knowledge/1.1_environment_install2.anaconda虚拟环境的建立3.pytorch的安装。

原创 datawhale零基础数据挖掘入门task4

模型融合是比赛后期一个重要的环节，大体来说有如下的类型方式。简单加权融合:回归（分类概率）：算术平均融合（Arithmetic mean），几何平均融合（Geometric mean）；分类：投票（Voting)综合：排序融合(Rank averaging)，log融合stacking/blending:构建多层模型，并利用预测结果再拟合预测。boosting/bagging（在xg...

原创 datawhale零基础数据挖掘入门Task3学习笔记

线性回归模型：线性回归对于特征的要求；处理长尾分布；理解线性回归模型；模型性能验证：评价函数与目标函数；交叉验证方法；留一验证方法；针对时间序列问题的验证；绘制学习率曲线；绘制验证曲线；嵌入式特征选择：Lasso回归；Ridge回归；决策树；模型对比：常用线性模型；常用非线性模型；模型调参：贪心调参方法；网格调参方法；贝叶斯调参方法；...

原创 datawhale零基础数据挖掘入门Task2学习笔记

常见的特征工程包括：异常处理：通过箱线图（或 3-Sigma）分析删除异常值；BOX-COX 转换（处理有偏分布）；长尾截断；特征归一化/标准化：标准化（转换为标准正态分布）；归一化（抓换到 [0,1] 区间）；针对幂律分布，可以采用公式：????????????(1+????1+????????????????????????)数据分桶：等频分桶；等距分桶；Best-KS分桶（类似利用基尼指数进行二分类）；卡方分桶；...

原创 datawhale零基础数据挖掘入门Task1学习笔记

目录1.载入各种数据科学以及可视化库2.载入数据3. 总览数据概况4.判断数据缺失和异常5.了解预测值的分布6. 特征分为类别特征和数字特征，并对类别特征查看unique分布7. 数字特征分析1.载入各种数据科学以及可视化库2.载入数据3. 总览数据概况4.判断数据缺失和异常5.了解预测值的分布6. 特征分为类别特征和数字特征，并对类别特征查看unique分布7. 数字特征分析