- 博客(17)
- 收藏
- 关注
RSS订阅原创 Hadoop问题
Hadoop问题Current usage: 96.9 MB of 1 GB physical memory used; 2.3 GB of 2.1 GB virtual memory used. Killing container.处理在yarn-site.xml文件中，修改检查虚拟内存的属性为false，(没有此配置的可以加上)如下：<property> <name>yarn.nodemanager.vmem-check-enabled</name>
2021-04-24 01:31:41
189
原创 函数与Lambda表达式
函数与Lambda表达式函数函数的定义函数的调用函数文档函数参数**1. 位置参数****2. 默认参数****3. 可变参数****4. 关键字参数****5. 命名关键字参数****6. 参数组合**函数的返回值变量作用域**内嵌函数****闭包**[0, 1, 1, 2, 3, 5, 8, 13, 21, 34, 55]函数还记得 Python 里面“万物皆对象”么？Python 把函数也当成对象，可以从另一个函数中返回出来而去构建高阶函数，比如：参数是函数返回值是函数函数的定义函数
2020-08-02 23:46:17
155
原创 python学习10：集合
集合Python 中set与dict类似，也是一组key的集合，但不存储value。由于key不能重复，所以，在set中，没有重复的key。注意，key为不可变类型，即可哈希的值。【例子】num = {}print(type(num)) # <class 'dict'>num = {1, 2, 3, 4}print(type(num)) # <class 'set'>1. 集合的创建先创建对象再加入元素。在创建空集合的时候只能使用s = set()，因为s
2020-08-01 00:07:42
137
原创 python学习09：字典
字典1. 可变类型与不可变类型序列是以连续的整数为索引，与此不同的是，字典以"关键字"为索引，关键字可以是任意不可变类型，通常用字符串或数值。字典是 Python 唯一的一个 映射类型，字符串、元组、列表属于序列类型。那么如何快速判断一个数据类型 X 是不是可变类型的呢？两种方法：麻烦方法：用 id(X) 函数，对 X 进行某种操作，比较操作前后的 id，如果不一样，则 X 不可变，如果一样，则 X 可变。便捷方法：用 hash(X)，只要不报错，证明 X 可被哈希，即不可变，反过来不可被
2020-08-01 00:06:10
209
原创 python学习11：序列
序列在 Python 中，序列类型包括字符串、列表、元组、集合和字典，这些序列支持一些通用的操作，但比较特殊的是，集合和字典不支持索引、切片、相加和相乘操作。1. 针对序列的内置函数list(sub) 把一个可迭代对象转换为列表。【例子】a = list()print(a) # []b = 'I Love LsgoGroup'b = list(b)print(b) # ['I', ' ', 'L', 'o', 'v', 'e', ' ', 'L', 's', 'g', 'o',
2020-08-01 00:05:33
321
原创 Task5 基于深度学习的文本分类2-1Word2Vec
基于深度学习的文本分类使用gensim训练word2vec使用gensim训练word2vec本DEMO只使用部分数据，使用全部数据预训练的词向量地址：链接: https://pan.baidu.com/s/1ewlck3zwXVQuAzraZ26Euw 提取码: qbprimport loggingimport randomimport numpy as npimport torchlogging.basicConfig(level=logging.INFO, format='%(as
2020-07-31 23:40:47
147
原创 python学习07：字符串
07.字符串1. 字符串的定义2. 字符串的切片与拼接3. 字符串的常用内置方法4. 字符串格式化1. 字符串的定义Python 中字符串被定义为引号之间的字符集合。Python 支持使用成对的 单引号 或 双引号。【例子】t1 = 'i love Python!'print(t1, type(t1))# i love Python! <class 'str'>t2 = "I love Python!"print(t2, type(t2))# I love Python
2020-07-28 23:31:59
123
原创 python学习06：元组
06:元组1. 创建和访问一个元组2. 更新和删除一个元组3. 元组相关的操作符4. 内置方法5. 解压元组「元组」定义语法为：(元素1, 元素2, ..., 元素n)小括号把所有元素绑在一起逗号将每个元素一一分开1. 创建和访问一个元组Python 的元组与列表类似，不同之处在于tuple被创建后就不能对其进行修改，类似字符串。元组使用小括号，列表使用方括号。元组与列表类似，也用整数来对它进行索引 (indexing) 和切片 (slicing)。【例子】t1 = (1, 10.
2020-07-28 23:24:42
188
原创 python学习：05.列表
05.列表列表1.列表的定义2.列表的创建3. 向列表中添加元素4. 删除列表中的元素5. 获取列表中的元素6. 列表的常用操作符7. 列表的其它方法**练习题**：列表1.列表的定义列表是有序集合，没有固定大小，能够保存任意数量任意类型的 Python 对象，语法为 [元素1, 元素2, ..., 元素n]。关键点是「中括号 []」和「逗号 ,」中括号 把所有元素绑在一起逗号 将每个元素一一分开2.列表的创建创建一个普通列表【例子】x = ['Monday', 'Tuesday
2020-07-28 23:17:00
249
原创 天池新闻文本分类-Task04- 基于深度学习的文本分类1
基于深度学习的文本分类1学习目标文本表示方法 Part2现有文本表示方法的缺陷FastText基于FastText的文本分类如何使用验证集调参如何使用验证集调参本章小结本章作业与传统机器学习不同，深度学习既提供特征提取功能，也可以完成分类的功能。从本章开始我们将学习如何使用深度学习来完成文本表示。学习目标学习FastText的使用和基础原理学会使用验证集进行调参文本表示方法 Part2现有文本表示方法的缺陷在上一章节，我们介绍几种文本表示方法：One-hotBag of Words
2020-07-27 23:34:06
157
原创 python学习：04.异常处理
异常处理异常处理1. Python 标准异常总结2. Python标准警告总结3. try - except 语句4. try - except - finally 语句5. try - except - else 语句`明天做`异常处理异常就是运行期检测到的错误。计算机语言针对可能出现的错误定义了异常类型，某种错误引发对应的异常时，异常处理程序将被启动，从而恢复程序的正常运行。1. Python 标准异常总结BaseException：所有异常的 基类Exception：常规异常的 基类St
2020-07-26 00:21:22
69
原创 python学习：03. 循环语句
循环语句1. while 循环2. while - else 循环3. for 循环4. for - else 循环5. range() 函数6. enumerate()函数7. break 语句8. continue 语句9. pass 语句10. 推导式列表推导式元组推导式字典推导式集合推导式其它11. 综合例子待完善........1. while 循环while语句最基本的形式包括一个位于顶部的布尔表达式，一个或多个属于while代码块的缩进语句。while 布尔表达式: 代码块w
2020-07-23 23:51:01
103
原创 python学习：02. 条件语句
条件语句1. if 语句2. if - else 语句4. assert 关键词1. if 语句if expression: expr_true_suiteif 语句的 expr_true_suite 代码块只有当条件表达式 expression 结果为真时才执行，否则将继续执行紧跟在该代码块后面的语句。单个 if 语句中的 expression 条件表达式可以通过布尔操作符 and，or和not 实现多重条件判断。【例子】if 2 > 1 and not 2 > 3:
2020-07-23 23:22:36
74
原创 天池新闻文本分类-Task03- 基于机器学习的文本分类
天池新闻文本分类-Task03- 基于机器学习的文本分类基于机器学习的文本分类学习目标机器学习模型文本表示方法 Part1One-hotBag of WordsN-gramTF-IDF基于机器学习的文本分类Count Vectors + RidgeClassifierTF-IDF + RidgeClassifier基于机器学习的文本分类在本章我们将开始使用机器学习模型来解决文本分类。机器学习发展比较广，且包括多个分支，本章侧重使用传统机器学习，从下一章开始是基于深度学习的文本分类。学习目标学会T
2020-07-23 22:56:44
154
原创 python学习：01. 变量、运算符与数据类型
01.变量、运算符与数据类型1. 注释Hello china1. 注释在 Python 中，# 表示注释，作用于整行。单行注释# 这是一个注释print("Hello world") #打印hello world‘’’ ‘’’ 或者 “”" “”" 表示区间注释，在三引号之间的所有内容被注释‘’’这是多行注释，用三个单引号这是多行注释，用三个单引号这是多行注释，用三个单引号‘’’print(“Hello china”)Hello china"""用三个双引号 多行注释
2020-07-22 23:34:14
118
原创 天池新闻文本分类-Task02- 数据读取与数据分析
Task02- 数据读取与数据分析学习目标数据读取数据分析句子长度分析代码解析输出结果新闻类别分布字符分布统计数据分析结论小结作业主要内容为数据读取和数据分析：使用Pandas库完成数据读取操作，并对赛题数据进行分析学习目标1.学习使用Pandas读取赛题数据2.分析赛题数据的分布规律数据读取import pandas as pdtrain_df = pd.read_csv('datalab/72510/train_set.csv', sep='\t', nrows=100)panda
2020-07-22 19:32:17
286
原创 天池新闻文本分类-Task01-赛题理解
天池新闻文本分类-Task01-赛题理解一、赛题理解赛题名称：零基础入门NLP之新闻文本分类赛题目标：通过这道赛题可以引导大家走入自然语言处理的世界，带大家接触NLP的预处理、模型构建和模型训练等知识点。赛题任务：赛题以自然语言处理为背景，要求选手对新闻文本进行分类，这是一个典型的字符识别问题。二、学习目标理解赛题背景与赛题数据完成赛题报名和数据下载，理解赛题的解题思路我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮
2020-07-21 17:35:32
177
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人