自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(22)

原创 #Datawhale_Python基础 Task 09:文件和文件系统

学习链接文章目录打开文件文件的关闭文件的基本操作文件的读写文件的定位文件的其他操作打开文件Open file and return a stream. Raise OSError upon failure.语法open(file, mode='r', buffering=None, encoding=None, errors=None, newline=None, closefd=True) 参数file文件路径,相对或者绝对路径,必填mode文件打开模式

2020-08-06 22:00:34 29

原创 #Datawhale_Python基础 Task08:模块与datetime模块

学习链接(模块)文章目录模块什么是模块命名空间导入模块`if __name__ == '__main__'`搜索路径Packages模块通过脚本用Python解释器进行编程,从Python解释器退出再进入,那么之前定义的方法和变量就都消失了。Python提供一种方法,可以将这些定义放在文件中,为脚本或者交互式的解释器实例使用,这个文件被称为模块(Module)。模块是一个包含所有你定义的函数和变量的文件,其后缀名是.py。模块可以被别的程序引入,已使用模块中的而函数等功能。什么是模块容器 用来

2020-08-05 14:52:20 47

原创 #Datawhale_NLP Task6 基于Bert的文本分类

电脑配置:Anaconda3 + Pycharm文章目录transformer的原理预训练语言模型(Bert)的词表示高永伟预训练语言模型BERT视频讲解笔记。句子A和句子B是两个挨着的句子,有紧密的上下文关系。因此,在下一句预测任务中,该句子对可以标记为Truesegment embeddings 句子A和句子B 要再表征的过程中体现出这是两个句子。句子A和句子B可能不是一个连续的句子对。这一部分是为了后续下一句预测任务做准备。常见的表达式EAE_{A}EA​ =1,EBE

2020-08-04 17:58:33 56

原创 #Datawhale_Python基础 Task07:类、对象与魔法方法

学习链接(类)文章目录类对象 = 属性 + 方法类python中用关键字class定义python类。关键字后面紧跟类的名称、分号和类的实现。对象 = 属性 + 方法类和对象的关系:对象是类的实例。类主要定义对象的结构,然后我们以类为模板创建对象。class People: # 类用来描述具有相同的属性和方法的对象的集合。 例如: 人类、鸟类、鱼类 Nationlity = "China" # 类属性 类属性在实例化的对象是公用的 一般定义在函数体外 通过位置判断类型

2020-08-04 16:08:27 67

原创 #Datawhale_Python基础 Task06:函数与Lambda表达式

学习链接文章目录1、笔记函数函数的定义函数的调用函数的文档函数参数闭包2、Lambda表达式匿名函数的应用2、作业1、笔记函数Python里面“万物皆对象”。python把函数也当成对象,可以从另一个函数中返回出来去构建高阶函数。参数是函数返回值势函数函数的定义函数以def关键词开头,后街函数名和圆括号()。函数执行的代码以冒号开始,并且缩进。return表达式结束函数,选择性地返回一个值给调用方。不代表达式的return相当于返回none。 def functionname(

2020-08-01 17:44:09 61

原创 #Datawhale_NLP Task5 基于深度学习的文本分类2 (word2Vec模型)

ggg

2020-07-31 22:23:45 56

原创 #Datawhale_Python基础 Task05:字典、集合和序列

学习链接(字典)学习链接(集合)学习链接(序列)思维导图文章目录字典1、笔记字典的定义创建字典访问字典删除字典元素2、作业字典1、笔记可变类型和不可变类型1、序列是以连续的整数为索引,与此不同的是,字典是以“关键字”为索引,关键字可以是任意不可变类型,通常用字符串或者数值。2、字典是python唯一的一个映射类型,字符串、元组、列表属于序列类型。那么如何快速判断一个数据类型x是不是可变类型的呢?两种方法:麻烦方法:用id(x)函数,对x进行某种操作,比较操作前后的id,如果不一样

2020-07-30 21:48:18 62

原创 Jieba中文分词下如何画词云图?

电脑配置:anaconda3 + Pycharm文章目录关于jieba分词绘画词语图关于jieba分词绘画词语图导入第三方模块from wordcloud import WordCloud # 词云图import matplotlib.pyplot as plt #画图text = 'I love python but I dont want to learn it '#wc = WordCloud() # 实例化词云图对象wc.generate(text) # 根据文本生成词云

2020-07-29 18:20:44 106

原创 #Datawhale_NLP Task4 基于深度学习的文本分类1

学习目标学习FastText的使用和基础原理学会使用验证集进行调参与传统的机器学习不同,深度学习既提供特征提取功能,也可以完成分类功能。文本表示方法 Part 2上一个Task 03 介绍了几个文本表示方法。这几个方法或多或少存在一定的问题:转换得到的向量为度很高,需要较长的训练时间;没有考虑单词与单词之间的关系,只是进行了统计。深度学习不仅可以用于文本表示,还可以将其映射到一个低纬度空间。例如:FastText Word2Vec 和Bert。FastTextFast Text 是一

2020-07-27 21:54:22 49

原创 基于深度学习的文本分类的准备工作:在Win10下安装fasttext

在本次基于深度学习的文本分类问题中,有一个第三包需要提前安装好。电脑配置:win10 64位Anaconda3IDE:pycharm1、pip安装(可以参考我自己总结的小白教程)pip install fasttext2、源码安装(网上说的,我还不会)git clone https://github.com/facebookresearch/fastText.gitcd fastTextsudo pip install .两种安装方法都可以安装,如果你是初学者可以优先考虑使用pip安

2020-07-27 21:14:27 59

原创 #Datawhale_Python基础 Task04 列表 元组 字符串

学习链接(列表)学习链接(元组)学习链接(字符串)1、笔记简单数据类型:整型<calss ‘int’>浮点型<class ‘float’>布尔型<class ‘bool’>容器数据类型列表<class ‘list’>元组<class ‘tuple’>字典<class ‘dict’>集合<class ‘set’>字符串<class ‘str’>列表的定义关于列表的思维导图列表是有序集

2020-07-27 18:50:50 55

原创 #Datawhale_NLP Task03:基于机器学习的文本分类

Task03:学习链接学习目标1、学会TF-IDF的原理和使用(咦,好巧不巧,前几天刚学完,哈哈)2、使用sklearn的机器学习模型完成文本分类1、笔记机器学习模型是对通过经验自动改进的计算机算法的研究。机器学习通过历史数据训练出模型对于人类经验进行归纳的过程,机器学习利用模型对新数据进行预测对应于人类利用总结的规律对新问题进行预测的过程。(总结的真是太美好了)机器学习有很多分值,对于学习者来说应该优先掌握机器学习算法的分类,然后再对其中一种机器学习算法进行学习。关于机器学习的这张概览图我必

2020-07-25 22:34:49 33

原创 #Datawhale_Python基础 Task03 异常处理

学习链接今天的知识点在日常编程中用的比较少,想不起来在什么情景下用==1、笔记异常处理异常就是运行期检测到的错误。计算机语言针对可能出现的错误定了异常类型,某种错误已发对应的异常时,异常处理程序将被启动,从而恢复程序的正常运行。Python标准异常总结BaseException所有异常的基类Exception常规异常的基类StandardError所有的内建标准异常的基类ArithmeticError所有数值计算异常的基类FloatingPoi

2020-07-24 20:09:43 27

原创 #Datawhale_Python基础 Task02条件循环结构

1、笔记assert关键词语法assert expressionexpression为False时 输出AssertionErrorassert 2 < 1# AssertionError用途:在进行单元测试时,可以用来在程序中置入检查点,只有条件为 True 才能让程序正常工作。while循环语法while 布尔表达式: 代码块while循环的代码块会 一直循环,直到布尔表达式的值为布尔假。常见的布尔表达式会包括比较运算符(>, <, ==, !=)

2020-07-23 17:28:50 49

原创 #Datawhale_NLP Task02:数据读取与数据分析

1、笔记# 分析句子长度train_df['text_len'] = train_df['text'].apply(lambda x: len(x.split(' ')))print(train_df['text_len'].describe())关于代码块的详注:函数式编程:python允许利用关键字lambda创建匿名函数def f(x): return 2 * x + 1print(f(5))# 11lambda x: 2 * x + 1g = lambda x: 2

2020-07-22 23:25:12 85

原创 #Datawhale_Python基础 Task01变量、运算符、数据类型及位运算

多行注释:1、选中多行代码按下快捷键:Ctrl+ /(自己以前的方法)2、三个单引号3、三个双引号##运算符算术运算符:+ 、- 、* 、/ 、 // 、 % 、 **(加减乘除 整除 取余 幂)比较运算符:不等于 !=逻辑运算符:and 、or、 not(与或非)位运算符:(不太熟悉)操作符名称示例~按位取反~4&按位与4&5|按位或4|5^按位异或4^5<<左移4<<2&g

2020-07-22 14:59:13 44

原创 #Datawhale_NLP Task01赛题理解

赛题理解官方对于收集到的文本已经做了中文分词的预处理, 并对停用词做了剔除,最后再匿名化,我们看到的是编号其实对应着一个个词语。任务:训练出到一个比较好的分类器,把训练集中20万的文本归为14类。今天完成了赛事报名、数据下载,数据读取。...

2020-07-21 18:22:33 45

原创 pip 安装小白教程

pip 安装1先找到pip.exe的安装路径,一般在python或anaconda的Scripts文件夹2 打开cmd,将上面的路径拖至cmd窗口3 在上述路径后输入 install + 模块名(install前有一个空格),然后回车。4 在自己的IDE里导入包,如果不报错则安装成功。...

2020-07-21 10:00:16 95

原创 因子分解机FM

因子分解机FM阅读完博文https://blog.csdn.net/ddydavie/article/details/82667890https://www.cnblogs.com/makefile/p/ffm.html之后关于因子分解机的感悟问题背景:人工方式的特征工程尝尝会面临一个问题就是特征组合。面对高维数据,训练模型常遇到的问题包括:特征组合无法识别,特征爆炸。因子分解机是解决特征关联的有效算法,并且还解决了数据稀疏性的问题。...

2020-07-18 11:57:16 43

原创 one-hot编码

one-hot编码目的:常用于文本特征的提取。基本思想:用n个状态寄存器对n个状态进行编码feature1sample1Sample2sample3

2020-07-18 09:44:02 77

原创 TF-IDF举例介绍

转载 :https://blog.csdn.net/zrc199021/article/details/53728499阅读该篇博客之后,总结一下自己的感悟:联想一个公众号(cctv-5,体育频道)语料库 = 公众号中所有的文章 ={ A,B,C,…Z}语料库中任一个文档 = 公众号中的任一篇文章 (不妨给定一篇文章A)假设A是描述姚明的人生经历的文章TF(“姚明 ”)= “姚明”在文章A中出现的频次IDF(“姚明 ”):不妨设“姚明”这个词只在A,B这两篇文章出现过,就用公众号的所有文章数除

2020-07-17 11:16:05 78

原创 Gurobi在Python中建模的使用手册之添加变量

Gurobi添加变量addVar()和addVars()addVar() 一次增加一个变量addVars() 一次增加多个变量addVar()命令行:addVar ( lb=0.0, ub=GRB.INFINITY, obj=0.0, vtype=GRB.CONTINUOUS, name=" ", column=None )lb (可自行选择设置): 决策变量下界ub (可自行选择设置): 决策变量上界obj (可自行选择设置): 决策变量在目标函数中的因子系数vtype (可自行选择设

2020-07-13 10:02:23 530

空空如也

空空如也

空空如也
提示
确定要删除当前文章?
取消 删除