qq_33589122的博客

原创 递归创建目录,批量解压tar.gz文件

递归创建目录mkdir -vp 目录·1/目录2/......批量解压tar.gz文件到data目录下for file in *.tar.gz; do tar -xvf $file data; done

原创 hadoop 安装后出现未找到命令

原创 ubuntu18 安装anaconda3

1、右键复制anconda3下载链接https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/2、wget install https://repo.anaconda.com/archive/Anaconda3-2020.02-Linux-x86_64.sh3、sh ./Anaconda3-2020.02-Linux-x86_64.sh一直按enter 输入yes4、echo 'export PATH="/home/ubuntu.

原创 深度学习（五）————卷积神经网络基础、leNet、卷积神经网络进阶

卷积神经网络基础本节我们介绍卷积神经网络的基础概念，主要是卷积层和池化层，并解释填充、步幅、输入通道和输出通道的含义我们介绍卷积层的两个超参数，即填充和步幅，它们可以对给定形状的输入和卷积核改变输出形状。二维互相关运算二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（...

原创 深度学习（四）————机器翻译及相关技术、注意力机制与Seq2seq模型、Transformer

目录机器翻译及相关技术注意力机制与seq2seq模型Transformer机器翻译及相关技术机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。机器翻译流程：数据预处理，主要模型：encode-decode,seq2seq...

原创 深度学习（三）————过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸；循环神经网络进阶

目录过拟合、欠拟合及其解决方案训练误差和泛化误差过拟合和欠拟合的概念模型复杂度和误差之间的关系解决过拟合的方案梯度消失及梯度爆炸循环神经网络进阶GRULSTM深度神经网络过拟合、欠拟合及其解决方案训练误差和泛化误差 在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization err...

原创 深度学习（二）————文本预处理、语言模型、循环神经网络基础

目录文本预处理语言模型n-gram语言模型神经网络语言模型循环神经网络基础简介计算过程文本预处理文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：读入文本 分词 建立字典，将每个词映射到一个唯一的索引（index） 将文本从词的序列转换为索引的序列，方便输入模型常用文本预处理pytho...

原创 深度学习（一）————线性回归、Softmax、多层感知机

目录线性回归模型Softmax多层感知机公式表达激活函数线性回归模型 为了简单起见，这里我们假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。接下来我们希望探索价格与这两个因素的具体关系。线性回归假设输出与各个输入之间是线性关系:损失函数在模型训练中，我们需要衡量价格预测值与真实值之间的误差。通常我们会选下列公式为损失误差...

原创 python学习之MySQL

目录创建数据库创建一个表插入数据更新数据删除数据查询数据创建数据库import pymysql#连接数据库db = pymysql.connect(host='localhost',user='root',password='123456',port=3306)cursor = db.cursor()cursor.execute('SELECT VE...

原创 TensorFlow学习之multiply和matmul（三）

目录tf.multiply()tf.matmul()tf.multiply()定义：两个矩阵中对应元素各自相乘使用方法tf.multiply(x,y,name=None)参数：x：一个数据类型为：half,float32,....的张量y：一个类型跟张量x相同的张量返回值：x*y element-wise注意：两个元素的数必须有相同的数据类型，不然...

原创 TensorFlow学习之常量、变量和占位符（二）

目录TensorFlow支持一下三种类型的张量：TensorFlow常量TensorFlow变量TensorFlow占位符TensorFlow支持一下三种类型的张量：常量：常量是其值不能改变的张量。变量：当一个量在会话中的值需要更新时，使用变量来表示。变量在使用前需要被显示初始化。另外需要注意的是，常量存储在计算图的定义中，每次加载时都会加载相关变量。换句话说，他...

原创 文件存储之json文件

JSON全称为JavaScript Object Notation，也就是JavaScript对象标记，他是通过对象和数组的组合来表示数据。对象：类似python中的字典，使用花括号{}包裹起来的内容，数据结构为{key1:value1,key2:value2,......}的键值对结构。数组：类似python中的列表，方括号[]包裹起来的内容，数据结构为["java","javasc...

原创 文件存储之打开方式

打开方式 参数 作用 r 以只读的方式打开文件 rb 以二进制只读方式打开一个文件 r+ 以读写方式打开一个文件 rb+ 以二进制读写方式打开一个文件 w 以写入方式打开一个文件。如果该文件已存在，则将其覆盖。如果该文件不存在，则创建新文件 wb 以二进制写入方式打开一个文件。如果该文件已存在，则将其覆盖。如果该文件不存在，则创建...

原创 正则表达式之关键内容（三）

目录贪婪与非贪婪修饰符转义匹配（\）compile()贪婪与非贪婪贪婪匹配：.*会匹配尽可能多的字符非贪婪匹配：.*？会匹配尽可能少的字符import recontent = 'Hello 1234567 World_This is a Regex Demo'result = re.match('^Hel.*(\d+).*',content)re...

原创 正则表达式之匹配方法（二）

目录match() search()findall()match()、search()和findall()的区别match() 从字符串起始位置开始匹配正则表达式，一旦开头不匹配则整个匹配就失败。import recontent = 'Hello 123 4567 World_This is a Regex Demo'result = re.match(...

原创 正则表达式之匹配规则（一）

匹配规则 模式 描述 \w 匹配字母、数字及下划线 \W 匹配不是字母、数字及下划线的字符 \s 匹配任意空白字符，相当于[\t\n\r\f] \S 匹配任意非空字符 \d 匹配任意数字，等价于[0-9] \D 匹配任意非数字的字符 \A 匹配字符串开头 \Z 匹配字符串结尾，如果存在换行，只匹配到换行前的结束...

原创 tensorflow之入门学习（一）

一个简单TensorFlow代码import tensorflow as tf message = tf.constant('welcome to guangdongwith tf.Session() as sess: print(sess.run(message).decode()) Tens...

原创 python学习numpy

目录创建方法基本操作数组运算reshape和resize 读写文件其他函数（具体不写）创建方法print(np.array([2.0,3.0,4.0])) #生成1*3矩阵print(np.array([[1.0,2.0],[3.0,4.0]])) #生成2*4矩阵print(np.array([[1,2],[3,4]],dtype=complex)) # ...

原创 python学习(字典详解）

字典是一种映射类型，字典用{ }标识，它是一个无序的键(key) : 值(value)的集合。键(key)：必须使用不可变类型，即键只能是数字，字符，元组类型，不能是集合，列表和字典类型。值(value)：可以是任何类型。注意：1、字典是一种映射类型，它的元素是键值对。 2、字典的关键字必须为不可变类型，关键字是唯一的。 3、创建空字典使用{ }字典形式d...

转载 隐马尔可夫模型求解中文分词实例（转）

原文：https://www.jianshu.com/p/f140c3a44ab6什么问题用HMM解决现实生活中有这样一类随机现象，在已知现在情况的条件下，未来时刻的情况只与现在有关，而与遥远的过去并无直接关系。比如天气预测，如果我们知道“晴天，多云，雨天”之间的转换概率，那么如果今天是晴天，我们就可以推断出明天是各种天气的概率，接着后天的天气可以由明天的进行计算。这类问题可以用 Mar...

原创 python学习（集合set详解）

目录Set（集合）集合形式集合运算集合函数增加元素删除元素复制清除in：判断元素是否在集合中Set（集合）集合（set）是由一个或数个形态各异的大小整体组成的，构成集合的事物或对象称作元素或是成员。基本功能是进行成员关系测试和删除重复元素。注意：创建一个空集合必须用set()而不是{ }，因为{ }是用来创建一个空字典。 集合...

原创 python学习(元组详解）

目录元组元组形式元组操作索引（是从0开始的）切片元组函数查找index统计count删除整个列表元组元组（tuple）与列表类似，不同之处在于元组的元素不能修改。元组写在小括号()里，元素之间用逗号隔开。元组中的元素类型也可以不相同：注意：1、元组的列表是可以修改的。2、元组也可以被索引和切片，方法一样。3、注意构造包含 0 或 ...

原创 python学习（列表详解）

目录列表列表的形式列表操作索引（是从0开始的）切片列表函数增加（在末尾）插入修改删除查找统计count清空clear删除整个列表反转排序复制列表和字符串一样，列表同样可以被索引和截取，列表被截取后返回一个包含所需元素的新列表。注意：1、List写在方括号之间，元素用逗号隔开。 2、和字符串一样，list可以被索引...

原创 python学习基本数据类型（一）

借鉴：https://www.runoob.com/python/python-variable-types.html目录数字(Number)类型字符串(String)List（列表）Tuple（元组）Set（集合）（数学上理解就可以）Dictionary（字典）Python数据类型转换数字(Number)类型python中数字有四种类型：整数、布尔型、浮点...

原创 python学习只print与format（二）

目录print的用法format用法基本用法：进阶用法多种格式化通过下标或key匹配参数%+f, %-f, 和 % f的用法按2进制、10进制、16进制显示用“，”分隔数字，每一千进位百分数%时间format的另一种形式：在字符串前加fprint的用法print("直接输出")print（100） 输出100print(k) ...

原创 HTML标签学习（一）

目录注释声明aabbraddressdivsectionarticleasidebareabdibdobigblockquotebodybrbuttoninputdel与inscanvas注释用法：<!--...-->声明用法：<!DOCTYPE html>a用法：&...

转载 vue新手实战项目 vue-cli/element-ui/ (自己已做，当作记录)

转载：https://blog.csdn.net/hahameier/article/details/90681285vue-cli 本地搭建项目 ：（1）http://www.hangge.com/blog/cache/detail_2109.html注意：要进入项目的文件中在执行cnpm intall以及cnpm run dev（2）https://www.jianshu.com/...

原创 Linux基本命令（vi编辑器）

目录vi编辑器三种状态命令模式插入模式底行模式三种模式的切换如图5命令行模式切换至插入模式命令行模式主要命令其他命令移动撤销查找保存底行模式插入模式vi编辑器三种状态 命令模式 插入模式 底行模式 三种模式的切换如图5命令行模式切换至插入模式i：插入光标前一个字符 I：插入行首 a：插入光...

原创 Linux基本操作（二）

目录cal：显示当前的日历date：显示或设置系统当前时间top：动态的显示Linux当前执行的任务详情ps：默认显示当前终端的程序kill：终止一个程序reboot:重启shutdown :关机init：表示Linux的运行级别df：可以用来查看硬盘的分区及使用情况du：查看某个目录下占用大小的情况ifconfig：用来设置网络信息或查看网络信息p...

原创 Linux基本操作（一）

目录tab：自动补全功能help：帮助信息ls：列出用户当前目录下的问件及文件夹通配符重定向pwd：打印当前工作的目录cat：将文件的内容打印在标准输出中（默认就是终端屏幕）head：取出前面几行tail：取出后面几行more和less：翻页查看内容clear：清屏管道符 “|”cd：改变当前目录到一个新的目录touch：在当前目录下创...

转载 自然语言处理怎么最快入门_自然语言处理知识了解 - 全文

转http://www.elecfans.com/rengongzhineng/608875_a.html一. 什么是NLP？自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的...

转载 想成为深度学习的高手必须要懂哪些知识？

转http://www.elecfans.com/rengongzhineng/603994.html深度学习本质上是深层的人工神经网络，它不是一项孤立的技术，而是数学、统计机器学习、计算机科学和人工神经网络等多个领域的综合。深度学习的理解，离不开本科数学中最为基础的数学分析（高等数学）、线性代数、概率论和凸优化；深度学习技术的掌握，更离不开以编程为核心的动手实践。没有扎实的数学和计算机...