weixin_44682222的博客

原创 mac 修改host后如何立即生效

mac 修改host后如何立即生效。

原创 Mac Idea使用快捷键

mac 版idea在编码时的快捷键

原创 Mac 命令行打开文件，自定义终端指令和识别路径中的空格

mac 终端操作，idea

原创 Pytorch 调整学习率：torch.optim.lr_scheduler.CosineAnnealingLR和CosineAnnealingWarmRestarts

一，torch.optim.lr_scheduler.CosineAnnealingLR参数说明：torch.optim.lr_scheduler.CosineAnnealingLR(optimizer,T_max,eta_min=0,last_epoch=-1)T_max：因为学习率是周期性变化的，该参数表示周期的1/2，也就是说，初始的学习率为a，经过2*T_max时间后，学习率经过了一个周期变化后还是a。eta_min：表示学习率可变化的最小值，默认为0在去噪实验中，将T_max的值设定为

原创 《Spark大数据处理技术》第二章Spark RDD及编程接口 读书笔记

Spark和MR的不同点：Spark提供了丰富的操作MR只有Map和Reduce两个操作2.1 Spark程序“Hello World”存储在HDFS的Log文件中，计算出现过字符串"Hello World"的行数，假设Log文件存储在 hdfs://root/Log代码//对于所有的Spark程序，这是必须要做的第一步，创建一个Spark的上下文//该步骤程序会向集群申请资源以及构建相应的运行环境SparkContext（参数1，参数2，参数3，参数4）第一个变量：当前程序运行的

原创 《Spark大数据处理技术》第一章Spark系统概述 读书笔记

1.1 大数据处理框架集群环境给编程带来的挑战：并行化：并行化的方式重写应用程序，为了利用更大范围节点的计算能力单节点失败的处理集群环境一般是被多个用户分享，动态的分配计算资源针对集群环境出现了大量的大数据编程框架，比如MapReduce：简单通用，自动容错，批处理计算模型。缺点：不适合交互式和流式计算，因为MR不能实现在并行计算的各个阶段进行有效的数据共享！1.2 Spark大数据处理框架针对MR不能进行数据共享，提出RDD概念：一种新的抽象的弹性数据集；Spark不严谨的可以视为：

原创 关于Centos6无法使用yum的解决办法

参考：https://blog.csdn.net/qq_41938046/article/details/110920247查看Centos的版本号lsb_release -a改变相关的配置文件vi /etc/yum.repos.d/CentOS-Base.repo 我将这里原来的配置信息全部删除了，然后改为下面的配置信息（注意：根据自己具体的版本号，将下面配置文件中的版本号改为自己所使用的版本号）# CentOS-Base.repo## The mirror system uses

转载 pytorch实现手写字识别

使用Pytorch实现手写数字识别 目标 知道如何使用Pytorch完成神经网络的构建 知道Pytorch中激活函数的使用方法 知道Pytorch中torchvision.transforms中常见图形处理函数的使用 知道如何训练模型和如何评估模型 1. 思路和流程分析 流程： 准备数据，这些需要准备DataLoader 构建模型，这里可以使用torch构造一个深层的神经网络 模型...

原创 基类属性和方法的设计规则（访问权限的设置）

一般的规则：数据成员设为私有private,所有的方法设为public.没有加任何访问权限的的成员，只能允许包内的成员访问到；在这个包里，任何人都可以访问使用这些方法，但是其他包里的某一个类只能访问到public成员；...

原创 类中什么时候对“对象引用”进行初始化？

在定义对象的地方，这样就可以实现在构造器被调用之前被初始化。在类的构造器中。正要使用这些对象之前，再进行初始化，也称为惰性初始化使用实例化初始化

转载 使用tf.data.Dataset.from_tensor_slices五步加载数据集

原文链接前言:最近在学习tf2数据加载感觉蛮方便的这里记录下使用 tf.data.Dataset.from_tensor_slices 进行加载数据集.使用tf2做mnist（kaggle）的代码思路Step0: 准备要加载的numpy数据Step1: 使用 tf.data.Dataset.from_tensor_slices() 函数进行加载Step2: 使用 shuffle() 打乱数据Step3: 使用 map() 函数进行预处理Step4: 使用 batch() 函数设置 ba

原创 集群部署Zookeeper

1．集群规划在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。2．解压安装（1）解压Zookeeper安装包到/opt/module/目录下[hadoop@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/配置环境变量 [hadoop@hadoop102 zookeeper-3.4.10]$ sudo vim /etc/profile添加以下内容#ZOOK

原创 IDEA安装Scala插件

原创 《Redis设计与实现》之字典

字典：用于保存键值对(key-value pair)的抽象数据结构在字典中，一个键和一个值进行关联，建立之间的映射关系字典作为一种数据结构内置于很多高级编程语言中，但是Redis所使用的C语言并没有内置这种数据结构，所以Redis构建了自己的字典实现。1.字典的实现Redis的字典底层是使用哈希表实现的，一个哈希表里面有多个哈希表节点，每个节点就保存了字典中的一个键值对。1.1哈希表由dict.h/dictht结构定义typedef struct dictht{ //哈希表数组

原创 Pycharm如何去除代码波浪线

原创 第二章 简单动态字符串SDS

C语言中传统的字符串：以空字符结尾的字符数组，不可修改Redis创建了一个新的简单动态字符串SDS，并作为Redis默认字符串表示，应用于一些字符串要求被修改的场景！使用场景：在Redis中，C字符串只作为字符串字面量，用在不需要改变字符串的场景，比如打印日志当Redis不只是需要字符串字面量，而是可以被修改的字符串值，就可以SDS来表示字符串值；比如Redis的数据库里面，包含字符串的键值对在底层都是由SDS实现的例子①：redis >SET msg "hello world"OK

原创 java基本数据类型作为类成员使用的默认值问题

当基本数据类型作为类的成员使用时，程序员可以不手动初始化值，java会给出默认值，如下表参考https://blog.csdn.net/zhongshujunqia/article/details/72852778

原创 无参构造器

无参构造器负责创建对象，类的实例域初始化为默认值如果一个类在编写的时候，系统会提供一个无参数构造器，将所有实例域初始化为默认值如果一个类在编写的时候，提供了构造器，但是唯独没有无参数构造器，这样的话，在创建对象的时候，如果不传入参数，就会被视为不合法的！...

原创 static关键字

静态域将域定义为static,每个类只能有一个静态域;每一个对象对于所有的实例域都有自己的一个备份，如下代码演示如果我们有1000个Employee类的对象，则有1000个实例域id,但是这么多对象，只有一个静态域nextId，静态域是属于类的，而不是属于任何一个对象class Employee{ private static int nextId=1; private int id;}静态常量静态方法静态方法是一种不能面向对象操作的方法静态方法没有隐式参.

原创 类之间的关系

在类之间，最常见的关系有：依赖，即"uses-a"，如果一个类的方法操纵另一个类的对象，就说一个类依赖于另一个类聚合，即"has-a",类A的对象包含着类B的对象继承，即"is-a"，如果类A扩展类B，类A不但包含从类B继承的方法，还拥有额外的功能采用UML（统一建模语言）绘制类图，用来描述类之间的关系...

原创 with torch.no_grad()

#with torch.no_grad() 详解'''被该语句包裹起来的语句将不会被追踪梯度'''a=torch.tensor([1.1],requires_grad=True)b=a*2print(b)#tensor([2.2000], grad_fn=<MulBackward0>)b.add_(2)print(b)#tensor([4.2000], grad_fn=<AddBackward0>)with torch.no_grad(): b.mul_

原创 关于Python的迭代操作

# list=['kevin','bob','tom']# for i in list:# print(i)d={'a':1,'b':2,'c':3,'d':4,'e':5}for key in d: print(key)#默认情况下，dict迭代的是key#如果迭代value,可以用for value in d.values(): print(value)#如果同时迭代key和value，for k,v in d.items(): print(k,v)

原创 synchronized关键字的使用（待完善）

public class synTest { public static void main(String[] args) { AccountingSync accountingSync = new AccountingSync(); new Thread(()->{ accountingSync.run(); }).start(); }}class AccountingSync implements Runn

原创 2.5 驻守后台：守护线程(Daemon)

守护线程：系统的守护者，在后台默默地为系统服务， 比如垃圾回收线程，JIT线程等都可以理解为守护线程。用户线程：系统的工作线程，执行业务代码的线程，当用户线程结束，只有守护线程存在时，JVM自然退出！注意：守护线程必须在线程启动前面开启，否则会报出异常：守护线程失败public class DaemonTest { public static void main(String[] args) throws InterruptedException { Thread t=new

原创 第2章 设计模式的七大原则

1. 单一职责原则对于一个类来说，一个类只负责一个功能如果类A负责两个不同的功能，功能1，功能2；当功能1需求发生改变时而去改变类A，这样会造成功能2执行错误，所以将负责两个不同功能的类A分解为A1，A2代码演示package com.atguigu.principle.SingleResponbility;public class SingleResponsibilityTest { public static void main(String[] args) { Ve

原创 Tensorflow填充“SAME ”和“VALID”两种方式

图片经过卷积操作后，其大小的尺寸会发生改变：SAME, VALID的区别：SAME进行填充，卷积核移动步长=1时尺寸不变，移动步长=stride时卷积完毕后尺寸为 输入的尺寸/stride再向上取整VALID不进行填充，卷积后尺寸计算公式为 (输入尺寸 - 核尺寸)/stride + 1 再向下取整数...

转载 MySQL的内部联结，外部联结和自然联结

一、SELECT语句一个典型的SQL查询语句具有如下形式：SELECT A1,A2, ... ,AnFROM r1, r2, ... ,rmWHERE P;select子句列出查询结果中所需要的属性。from子句是一个查询求值中需要访问的关系列表。where子句是一个作用在from子句关系属性上的谓词。其中from这个子句定义的是一个在该子句中列出的关系上的笛卡尔积。可以用如下表述：for each 元组t1...

原创 第11章 使用数据处理函数

SQL支持利用函数来处理数据函数没有SQL的可移植性强：能够运行在多个系统上的代码称为可移植的，多数SQL语句是可移植的，但是函数的可移植性不好，所以在使用函数时做好注释，让别人知道你想利用函数干什么！文本处理函数Upper() 将文本转为大写Left() 返回串左边的字符Length() 返回串的长度Locate() 找到串的一个子串Lower() 将串转为小写Right() 返回串右边的字符Soundex() 返回串的SOUNDEX值SOUNDEX是对串进行发音的比较而不是文本字母

原创 第10章 创建计算字段

存储在表中的数据并不是应用程序所需要的，我们需要直接从数据库中检索出转换，计算或者格式化过的数据；而不是检索出数据，然后再在客户机应用程序或者报告程序中重新格式化计算字段的作用就是在SELECT语句内创建，对检索出的数据进行格式转换注意：计算字段还是表列，只有数据库知道，从客户机的角度看不出来哪个是计算字段哪个是表列，因为都是以相同的方式返回的拼接字段拼接：将值联结到一起构成单个值使用Concat函数实现拼接SELECT Concat(vend_name,'(',vend_country,')'

原创 第9章 用正则化表达式进行搜索

正则化表达式：用来匹配文本的特殊的串(字符集合)。正则化表达式用正则表达式语言来建立MySQL和正则表达式的关系MySQL使用WHERE子句对正则表达式提供了初步的支持，允许你指定正则表达式，过滤SELECT检索出的数据1.基本字符匹配SELECT prod_nameFROM productsWHERE prod_name REGEXP '1000'ORDER BY prod_name;SELECT prod_nameFROM productsWHERE prod_name REGEX

原创 h, w = img.shape什么意思？

image.shape属性是读入图片后的一个元组dutuple返回图片的(高,宽,位深)比如image.shape返回(687, 740, 3)而h,w=(687, 740, 3)分解了元组并分别用h,w获得了前两个数据，即高687、宽740

转载 img.shape[0]、[1]、[2]到底代表什么（转）

img.shape[ : 2] 表示取彩色图片的长、宽。img.shape[ : 3] 则表示取彩色图片的长、宽、通道。关...

原创 np.rot90（）用法

np.flipud(img)#将矩阵上下翻转，输入图像的话，翻转后生成新的图像np.rot90(img)#将矩阵img逆时针旋转90°np.flipud(np.rot90(img))#旋转90°后在上下翻转#将矩阵A逆时针旋转（90×k）°以后返回B，k取负数时表示顺时针旋转。np.rot90(img,k=2)...

原创 Pytorch-DataLoader数据加载器

转载 glob用法

glob是Python自带的一个文件操作相关的模块，可以查询符合自己要求的文件支持通配符操作：,?[] 这三个通配符，代表0个或多个字符？代表一个字符[]匹配指定范围内的字符它的主要方法就是glob,该方法返回所有匹配的文件路径列表，该方法需要一个参数用来指定匹配的路径字符串（本字符串可以为绝对路径也可以为相对路径），其返回的文件名只包括当前目录里的文件名，不包括子文件夹里的文件...

转载 torch.nn.MSELoss

*CLASS* torch.nn.MSELoss(size_average=None, reduce=None, reduction=mean)torch.nn.functional.mse_loss(input, target, size_average=None, reduce=None, reduction=mean) → Tensor参数size_average: 默认为True, 计算一个batch中所有loss的均值；reduce为 False时，忽略这个参数；reduce： 默

转载 Pythorch torch.nn 与 torch.nn.functional的区别(转)

我们知道在torch.nn和torch.nn.functional中有许多类似的激活函数或者损失函数，例如： torch.nn.ReLU 和 torch.nn.functional.relu torch.nn.MSEloss 和 torch.nn.functional.mse_l...

转载 Pytorch nn.init 参数初始化方法(转)

Gain is a proportional value that shows the relationship between the magnitude of...

原创 如何在Pytorch环境中添加需要的包

1.conda activate pytorch2.执行添加需要的包的命令

转载 从SRCNN到EDSR，总结深度学习端到端超分辨率方法发展历程（转）

超分辨率技术（Super-Resolution, SR）是指从观测到的低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。本文针对端到端的基于深度学习的单张图像超分辨率方法(Single Image Super-Resolution, SISR)，总结一下从SRCNN到EDSR的发展历程。(排列顺序大致按论文中给出的4倍上采样结果的峰值信噪比(Peak Signal to N...