qq_35559420的博客

原创 Git错误解决大全

原创 vim在docker中按上下左右键出现：error388 couldn't find definition

docker中用apt安装了vim以后，发现使用vim却不能用“上”、“下”、“左”、“右”按键进行光标的方向操作，出现错误error388： couldn’t find definition。解决方法如下：1.先找到vim的配置文件vimrc。输入vim出现以下界面：然后输入:echo $VIM查询然后即可得到查询结果如下图，其中图中显示的查询结果是/usr/share/vim...

原创 关于模型的权重恢复错误： Data loss: file is too short to be an sstable

下面这段代码是模型存储的代码，这是随便参考的1个例子import tensorflow as tf# First, you design your mathematical operations# We are the default graph scope# Let's design a variablev1 = tf.Variable(1. , name="v1")print...

翻译 Jupyter Notebook的快捷键帮助文档

Jupyter Notebook的快捷键帮助文档本文档翻译自官方文档：首先你需要按“Esc”进入命令模式再使用下面的快捷键使用完以后按“Enter”即可转为编辑模式命令模式下的快捷键查找和替换 F 打开命令面板 Ctrl + Shift+P 进入编辑模式 Enter运行本单元，并选中下一单元 Shift+Enter运行选中的单元 Ctrl + Ente

原创 SyntaxError: Missing parentheses in call to 'print'解决

这个错误的原因是python2和3两个版本在print的用法上不同！举例如下：在python2.X中，使用print my_data.shape在python3.X中，使用print(my_data.shape)

原创 Windows命令行窗口安装scipy失败解决方案

已经安装了python和numpy，结果安装scipy时出现错误！发现提示，包已经获取成功，结果却不能安装！解决方法如下：1、先安装whell，命令为pip install wheel2、下载scipy和numpy+mkl安装包！需要注意的是选择版本的问题：这里我的python是3.5.2版本，对应下载cp35;操作系统是Windows64位，对应win_amd64！其他的以此...

原创 【HIVE】(04)学会理解Hive支持的存储数据格式

Hive支持的存储数据格式

原创 【kears】keras中的常用包datasets、models、layers、optimizers

keras中的常用包datasets、models、layers、optimizers

原创 【基础】损失函数和评估指标的区别

损失函数用于优化模型的参数，直接影响模型在训练数据上的表现，而评估指标则用于衡量模型在测试数据或实际应用中的性能。评估指标通常是用户关心的模型表现指标，而损失函数则是优化算法所关注的目标函数。

原创 【kears】keras使用介绍

Keras 是一个高级神经网络 API，用于构建和训练深度学习模型。它提供了简单易用、高度模块化的接口，使得用户能够快速地搭建各种类型的神经网络模型，包括卷积神经网络（CNN）、循环神经网络（RNN）等，并进行训练。

原创 【模型调参】初识不同调参方法

本文介绍了4种常见的模型调参方法：网格搜索、随机搜索、贝叶斯优化、Optuna调参。网格搜索和随机搜索适用于参数空间较小的情况，贝叶斯优化适用于参数空间较大或连续的情况。

原创 【python】(16)python的字典dict按照key或value排序的不同方法

本文介绍了6种用python实现字典dict按照key或value排序的方法。

原创 【python】(15)python的series进行值替换的4种代码实现方法

python的series进行值替换的4种代码实现方法：使用replace()方法、使用条件语句进行替换、使用map()方法、使用apply()方法。

原创 【python】(14)理解Python中的pypinyin库

系列文章回顾【python】(14)理解Python中的pypinyin库。

原创 【python】(13)理解Python中的处理时间的模块

1）提供了与系统时间相关的函数，可以获取当前时间、时间戳、暂停执行等功能。3）主要用于处理时间的基本功能，如获取时间戳、休眠等操作。3）时间单位为秒，通常用于处理相对较低级别的时间操作。1）提供了日期和时间的处理函数，可以创建日期时间对象、进行日期时间计算、格式化输出等操作。2）支持更多高级的日期时间操作，如时区转换、日期时间运算等。3）时间单位可以精确到微秒，提供更精细的时间处理能力。1）提供了与日历相关的函数，可以生成日历、获取月份的天数等功能。

原创 【python】(12)理解Python中的三种常用的数组操作函数stack、hstack和vstack

numpy.stack()函数用于沿着新轴连接数组序列（堆叠）。numpy.hstack()函数用于水平堆叠数组。numpy.vstack()函数用于垂直堆叠数组。

原创 【python】(11)理解Python中的常用队列类型

先进先出队列是一种数据结构，遵循先进先出的原则，即最先进入队列的元素将最先被取出。后进先出队列是一种数据结构，遵循后进先出的原则，即最后进入队列的元素将最先被取出。优先队列是一种队列，每个元素都有一个优先级，按照元素的优先级顺序取出元素。双向队列是一种具有队列和栈特性的数据结构，可以从两端添加和删除元素。

原创 【python】(10)理解Python中的数据聚合和分组运算

在Python中，数据聚合和分组运算是数据分析中非常重要的操作。Pandas库提供了强大的功能来进行数据聚合和分组运算，使得对数据进行统计分析变得更加高效和便捷。

原创 【python】(09)理解Python中的zip()和zip(*iterable)

zip()是打包函数，将输入的多个序列中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。zip(*)是解压函数，将输入的可迭代对象，解压成多个独立的序列。

原创 【python】(08)理解Python中的可变对象和不可变对象

1）不可变对象不可变对象的值在创建后不能被修改，如果需要修改该值，就会创建1个新的对象。整数（int）浮点数（float）字符串（str）元组（tuple）2）可变对象可变对象的值在创建后可以被修改。列表（list）字典（dict）集合（set）

原创 【python】(07)理解Python中函数的参数类型

1）位置参数在函数定义中按照顺序声明的参数，调用时必须按照相同的顺序传递值。2）默认参数在函数定义中为参数指定默认值，调用时如果不传递该参数，则会使用默认值。特点：默认参数必须指向不可变对象，如字符串（str）、元组（tuple）等，而不能是列表（list）这种可变对象。思考题：为什么默认参数必须指向不可变对象？因为不可变对象一旦创建，对象内部的数据就不能修改，这样就减少了由于修改数据导致的错误。同时，由于对象不变，多任务环境下同时读取对象就不需要加锁。3）可变长度参数*args：用于处理可变数量。

原创 【python】(06)理解Python中的 lambda 、map、filter、reduce 函数

1）Lambda 函数Lambda 函数是一种匿名函数，通常用于定义简单的函数。Lambda 函数的语法为 lambda arguments: expression。2）Map 函数map(function, iterable) 函数将函数应用于可迭代对象的每个元素，返回一个结果列表。3）Filter 函数filter(function, iterable) 函数用于筛选出满足条件的元素，返回一个由所有符合条件的元素组成的迭代器。4）Reduce 函数。

原创 【python】(05)如何使用python中的logging模块记录日志信息

logging.basicConfig 是 Python 中 logging 模块提供的一个用于配置根日志记录器（root logger）的函数。通过调用 logging.basicConfig 函数，可以快速设置默认的日志配置，包括日志级别、日志格式和日志处理器等，使得在没有单独配置日志系统的情况下，可以直接开始记录日志。

原创 【python】(04)python中实现多任务并发和并行的区别

并发是指多个任务在同一时间段内交替执行，而并行是指多个任务同时在不同处理器核心上执行。

原创 【python】(03)初识生成器Generator

生成器（Generator）是一种特殊的函数。yield关键字可以定义一个生成器函数，它可以暂停函数的执行并返回一个中间结果，然后在需要时恢复执行。因此可以简单的认为，使用yield的函数被称为生成器（Generator）。思考题：生成器的优点是什么？可以按需生成值，而不是一次性返回所有值。这种特点使得生成器节省内存，效率更高。

原创 【python】(02)初识迭代器Iterator

迭代器（Iterator）是一个具有__iter__()和__next__()方法的对象。iter()方法返回迭代器对象本身，而__next__()方法返回集合中的下一个值，直到没有数据时引发StopIteration异常。python中用于遍历元素的对象，它提供了一种统一的访问集合元素的方式。

原创 【python】(01)初识装饰器Decorator

装饰器（Decorator）本质上也是一个函数，它接受一个函数作为参数，并返回一个新的函数。

原创 如何用好python中的垃圾回收机制来进行资源优化

那么什么是循环引用，比如下述代码中，node1和node2相互引用，并且彼此之间没有其他引用时，就形成了循环引用。这种情况下，python的垃圾回收机制可能无法正确地释放它们所在的内存。因此，要在实际编程中，需要特别避免这种循环引用的情况发生。python中有一些内置模块可以帮助我们来优化资源的使用，比如gc模块可以控制垃圾回收器的行为，resource模块可以用来监控程序的资源使用情况。对于需要手动释放资源的情况，可以使用with语句和上下文管理器，确保资源在使用完毕后及时释放。

原创 【HIVE】(01)学会使用JOIN语句

Hive sql只支持 等值连接，不支持 非等值连接 以及 or连接(而 标准sql是支持 非等值连接的，hive sql不支持 非等值连接的原因是，通过mapreduce很难实现这种类型的连接)。Hive sql有几种连接类型：1）inner join(内连接)取存储2个表中都存在的数据;2)left outer join(左外连接)，左边的所有记录都保留。3）right outer j...

原创 【HIVE】(02)学会理解explain

1.使用explainexplain可以展示 hive是如何将查询 转化为 mapreduce 任务的。示例：explain select sum(number) from onecol;执行完上面的 语句后，会 打印出抽象语法树。它表明 Hive是如何将 查询解析成 token(符号)和literal(字符)。尽管 hiveql查询会将输出 写入到 控制台，但hive 实际上 会先将...

原创 【HIVE】(03)学会hive中的压缩和解压进行资源优化

Hadoop 常见有7种压缩格式（Gzip、Snappy、zstd、LZO、Bzip2、LZ4、Deflate），它们之间的区别体现在压缩比、压缩速度、解压速度上。压缩格式应用场景文件扩展名压缩比压缩速度解压速度是否可切割Gzip适合对存储空间要求较高，但对压缩速度要求不是很高的场景.gz中等较慢较快否Snappy适合需要快速压缩和解压的场景，但对压缩比要求不是很高的场景.snappy低快快否zstd。

原创 【HIVE】(04)学会如何优化hive任务的mapper和reducer个数

1.使用explainexplain可以展示 hive是如何将查询 转化为 mapreduce 任务的。思考：

原创 tensorflow教程【1】

待续

原创 【pytorch教程3】

待续

原创 【pytorch教程2】

待续

原创 pytorch教程【1】

1.数据加载将数据处理成pytorch可以使用的格式非常简单

原创 keras教程【4】辅助工具

本例中介绍了 callbacks参数 、网络可视化工具、Application（提供了诸多已经训练好的模型，方便进行迁移学习）。1.model.fit中的callbacks参数callbacks参数 可以接收 回调函数。本例介绍几个简单的回调函数：TensorBoard: 训练可视化监控, 便于分析参数优化过程是否正常！使用TensorBoard监控，方法就是，在model.fit中加...

原创 keras教程【3】使用ResNet

由于ResNet模型结构 比之前几篇介绍基础模型 复杂，这里使用Functional模型(即函数式模型)来替代 Sequential模型，因为Functional模型使用起来更加灵活，可以处理分支网络等情况。1.构建ResNet Block.ResNet Block包含了1个卷积层，1个BN层（对输出参数做归一化，使网络更易训练，一般地，加了BN层的网络，可以不必再用Droput层），1个激活...

原创 【keras】编写CNN

学会如何编写CNN，本文给出简单示例并说明操作含义。

原创 keras教程【1】编写多层感知机mlp

1.导包keras.datasets: 包含多种常用数据集，实现自动下载和解析等；keras.models:包含各种模型结构，1）顺序模型Sequential;keras.layers:包含常用的层结构，1）全连接层Dense;2)Dropout;3)Flatten;4)Conv2D;5)MaxPooling2D.kears.optimizers:包含优化函数，1）adam;2)RMSpr...