Iris_6713的博客

原创 shell语法复习

shell语法复习dirname $0 只是获取的当前脚本的相对路径.readlink -f path如果path 如果path如果path没有链接，就显示自己本身的绝对路径readlinkreadlink是linux用来找出符号链接所指向的位置例1：readlink -f /usr/bin/awk结果：/usr/bin/gawk #因为/usr/bin/awk是一个软连接，指向gawk例2：readlink -f /home/software/log/home/software/

原创 如何将本地代码上传Git仓库

Command line instructionsYou can also upload existing files from your computer using the instructions below.Git global setupgit config --global user.name “dizhihui”git config --global user.email “dizhihui@jd.com”Create a new repositorygit clone git@g

转载 PyTorch学习之六个学习率调整策略

PyTorch学习率调整策略通过torch.optim.lr_scheduler接口实现。PyTorch提供的学习率调整策略分为三大类，分别是a. 有序调整：等间隔调整(Step)，按需调整学习率(MultiStep)，指数衰减调整(Exponential)和 余弦退火CosineAnnealing。b. 自适应调整：自适应调整学习率 ReduceLROnPlateau。c. 自定义调整：自定义调整学习率 LambdaLR。参考：官方：https://pytorch.org/docs/stab

原创 vearch：大规模向量相似性搜索系统的挑战与实践

目录大规模向量检索任务所面临的挑战Vearch原理解析Vearch在深度学习场景中的实践一、大规模图像检索任务所面临的挑战  随着深度学习技术的快速发展，它的相关应用也渗透到了我们生活的方方面面。深度学习是通过将图片、文本、视频等编码成高维特征向量来解决问题的，这就出现了海量高维特征向量的存储与计算问题，这些问题急需得到很好的解决。人脸识别与拍照购场景智能助理与娱乐场景...

原创 深度学习中的正则化

关于正则化如下文章整理的很详细：https://blog.csdn.net/qq_16137569/article/details/81584165下面仅做一些补充前言机器学习需要找到的是从训练数据分布上学习一些能在新数据上泛化好的规律的算法。关键是要泛化好，就是学到一些在新数据上泛化好的特征。即所设计的模型要测试误差较小，因此，很有必要掌握一些减小测试误差的策略，这些策略统称为正则化。2. 为什么对权重做惩罚而不对偏置做正则惩罚？...

转载 Hinge 损失函数与SVM

要想搞明白Hinge损失函数，不得不来讨论一下SVM（支持向量机）SVM支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，SVM的的学习策略就是间隔最大化。SVM算法原理SVM学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。能够分类下列数据的超平面有很多个，但间隔最大的分离超平面是唯一的。几何间隔：对于给定的数据集和超平面 wx+b=0 ，定义超平面关于样本点 （xi， yi）

转载 为什么GAN不能处理离散的数据?

最初的 GANs 仅仅定义在实数领域，GANs 通过训练出的生成器来产生合成数据，然后在合成数据上运行判别器，判别器的输出梯度将会告诉你，如何通过略微改变合成数据而使其更加现实。一般来说只有在数据连续的情况下，你才可以略微改变合成的数据，而如果数据是离散的，则不能简单的通过改变合成数据。例如，如果你输出了一张图片，其像素值是1.0，那么接下来你可以将这个值改为1.0001。如果输出了一个单词“penguin”，那么接下来可以将penguin对应的高维向量加0.001，但可能不存在改变后对应的单词。 因为所有

转载 awk常用命令---统计某一列标签个数

统计下面文本中，第一列文本出现的次数（第2列没什么意义，不是次数）java 1python 2c++ 3c 4java 5java 6c++ 7python 8awk命令如下：awk -F '\t' '{sum[$1]++}END{for(i in sum) print i "\t" sum[i]}' example.txtjava 3c 1c++ 2python 2其中，sum[$1]++表示对第一列中字符出现次数进行累加，后面{ }中的语句

原创 cuda10.0安装问题- - Unable to locate the kernel source

问题详细描述：Installing the NVIDIA display driver...The driver installation is unable to locate the kernel source. Please make sure that the kernel source packages are installed and set up correctly.If y...

转载 NLP中的文本增强技术

https://zhuanlan.zhihu.com/p/111882970

转载 python：多进程池嵌套以及内存管理

最近做的项目上线后，发现机器内存一会儿就溢出了，查了半天原因，原来是进程内有需要并行的任务，采用pool导致的，解决方案入链接所说。https://blog.csdn.net/yyliunianyy/article/details/102490126...

转载 Python 矩阵中的路径

题目描述请设计一个函数，用来判断在一个矩阵中是否存在一条包含某字符串所有字符的路径。路径可以从矩阵中的任意一个格子开始，每一步可以在矩阵中向左，向右，向上，向下移动一个格子。如果一条路径经过了矩阵中的某一个格子，则之后不能再次进入这个格子。 例如 a b c e s f c s a d e e 这样的3 X 4 矩阵中包含一条字符串"bcced"的路径，但是矩阵中不包含"abcb"路径，因为字符...

原创 python 数组中重复的数字

题目一：找出数组中重复的数字长度为n的数组里所有数字都在0~n-1的范围内。请找出数组中任意一个重复的数字。比如{2,3,1,0,2,5,3}，那么对应输出的重复的数字是2或者3思路：一次扫描数组，判断下标为i的数字是否等于i，如果是，接着扫描下一个，如果不是，拿它跟第m个数字进行比较。如果它和m个数字相等，就找到了一个重复的数字，如果不相等，就把第i个数字和第M个数字交换，把m放到属于他...

转载 Python 二叉树的下一个结点 解题报告

题目描述：给定一个二叉树和其中的一个结点，请找出中序遍历顺序的下一个结点并且返回。注意，树中的结点不仅包含左右子结点，同时包含指向父结点的指针。解题方法分析二叉树的下一个节点，一共有以下情况：1.二叉树为空，则返回空；2.节点右孩子存在，则设置一个指针从该节点的右孩子出发，一直沿着指向左子结点的指针找到的叶子节点即为下一个节点；3.节点不是根节点。如果该节点是其父节点的左孩子，则返回父...

原创 在数组中找到出现次数大于N/K的数

题目给定整数数组arr，打印其中出现次数大于一半的数， 如果没有这样的数，打印提示信息。进阶问题：给定整数数组arr，打印其中出现次数大于N/K的数，如果没有这样的数，打印提示信息。要求原问题要求时间复杂度O（n）， 空间复杂度O（1），进阶问题要求时间复杂度O（N×K），额外空间O（K）解答核心思路：一次在数组中删掉K个不同的数，不停地删除，直到剩下数的种类不足K就停止删除，那么...

转载 《程序员代码面试指南第二版》Python实现（个人读书笔记）

https://blog.csdn.net/weixin_41362649/article/details/94273511

转载 机器翻译质量评测算法-BLEU

本文介绍机器翻译领域针对质量自动评测的方法-BLEU，让你理解为什么BLEU能够作为翻译质量评估的一种指标，它的原理是什么，怎么使用的，它能解决什么问题，它不能解决什么问题。什么是BLEU？BLEU (Bilingual Evaluation Understudy) is an algorithm for evaluating the quality of text which has bee...

原创 剑指37：两个链表的第一个公共结点

题目描述输入两个链表，找出它们的第一个公共结点。解题思路思路1：如果两个链表存在公共结点，那么它们从公共结点开始一直到链表的结尾都是一样的，因此我们只需要从链表的结尾开始，往前搜索，找到最后一个相同的结点即可。但是题目给出的单向链表，我们只能从前向后搜索，这时，我们就可以借助栈来完成。先把两个链表依次装到两个栈中，然后比较两个栈的栈顶结点是否相同，如果相同则出栈，如果不同，那最后相同的结点...

转载 python Leetcode 179：最大数（超详细的解法！！！）

给定一组非负整数，重新排列它们的顺序使之组成一个最大的整数。示例 1:输入: [10,2]输出: 210示例 2:输入: [3,30,34,5,9]输出: 9534330说明: 输出结果可能非常大，所以你需要返回一个字符串而不是整数。解题思路这个问题非常简单，我们需要做的就是写一个比较函数cmp(a,b)，比较传入的两个数字组成的str(a)+str(b)和str(b)+str(...

转载 python leetcode347 Top-K-Frequent-Elements

描述给定一个非空的整数数组，返回其中出现频率前 k 高的元素。示例输入: nums = [1,1,1,2,2,3], k = 2输出: [1,2]说明：你可以假设给定的 k 总是合理的，且 1 ≤ k ≤ 数组中不相同的元素的个数。你的算法的时间复杂度必须优于 O(n log n) , n 是数组的大小。解法一：排序算法（不满足时间复杂度要求）拿到题目的时候，如果没有详细看说明的...

转载 python 归并排序

归并排序的原理先把数组从中间分成前后两部分，然后对前后两部分分别排序，再将排好序的两部分合并在一起，这样整个数组就都有序了。

转载 linux ls查看当前目录下的子目录总数

ls -ap | grep "/" | wc -l解读：ls - p　会为目录添加一个/grep　进行筛选即可wc -l　统计行数

原创 《tensorflowNLP》传统自然语言处理方法

经典NLP的一般方法传统的特征工程技术：1）词袋：根据词频创建特征表示。缺陷：没有保留单词顺序，丢失上下文信息。2）n-gram：它将文本分解为由n个字母（单词）组成的较小元素，字母级别表示的优点是在大型语料库上词汇量小得多语言建模任务的经典方法：传统方法的缺点：传统NLP的预处理步骤迫使我们对潜在有用信息进行取舍权衡，以便通过减少词汇量来使学习成为可能。需要人工手动设计特...

转载 《剑指offer》字符串的排列

题目描述输入一个字符串,按字典序打印出该字符串中字符的所有排列。例如输入字符串abc,则打印出由字符a,b,c所能排列出来的所有字符串abc,acb,bac,bca,cab和cba。输入描述:输入一个字符串,长度不超过9(可能有字符重复),字符只包括大小写字母。解题思路大神写的优质代码。函数内部递归的思想，对原字符串进行遍历，递归剩余的字符，将结果添加到列表中，最后去重排序。代码...

转载 python 之字形打印二叉树

题目请实现一个函数按照之字形顺序打印二叉树，即第一行按照从左到右的顺序打印，第二层按照从右到左的顺序打印，第三行在按照从左到右的顺序打印，其他行以此类推。例如，按之字形顺序打印下图中的二叉树。打印结果为：13 24 5 6 715 14 13 12 11 10 9 82. 解题思路思路一：使用的容器不变，仍然使用队列来实现。根据节点所处层数的不同而修改元素添加的顺序，打印的时候...

原创 python 从上到下打印二叉树

题目描述从上往下打印出二叉树的每个节点，同层节点从左至右打印。解题思路二叉树的层次遍历，使用队列来实现。见二叉树的七种遍历方法。代码...

转载 python 顺时针打印矩阵

问题描述：输入一个矩阵，按照从外向里以顺时针的顺序依次打印出每一个数字，例如，如果输入如下4 X 4矩阵： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 则依次打印出数字1,2,3,4,8,12,16,15,14,13,9,5,6,7,11,10解题思路：每次打印并删除矩阵的第一行，然后将矩阵逆时针翻转90度，直至打印出全部结果代码：...

转载 python 树的子结构

题目描述输入两棵二叉树A，B，判断B是不是A的子结构。（ps：我们约定空树不是任意一个树的子结构）解题思路创建一个新的IsSubtree函数用来递归调用。如果根节点相同，就递归调用该函数，否则判断B是否为A的左子树或右子树的子结构。需要注意空树的情况：HasSubtree中任一树为空就返回False；IsSubtree中需先判断B是否为空，为空表示已经遍历完了，是子结构，A树为空或当前两个...

原创 python 链表中倒数第K个节点

题目描述：输入一个链表，输出该链表中倒数第k个结点。相关题目：求链表的中间节点。思路：看到本题我们很自然的一个想法是从尾结点往前倒退k步，但是对于单链表是行不通的。那我们换个思路，假设链表有n个结点，要求倒数第k个结点，其实也就是从前往后数第n-k+1个结点，这个思路只需要遍历两次链表即可。注意3个问题：输入的链表头指针为None，此时查找倒数第K个节点自然返回None如果输入的K...

原创 python 反转链表

原创 python 不用加减乘除做加法

题目描述写一个函数，求两个整数之和，要求在函数体内不得使用+、-、*、/四则运算符号。异或运算：相当于无进位加法与运算，再左移一位：相当于进位...

原创 python 数值的整数次方

题目：实现函数power（base，exponent），求base的exponent次方。不得使用库函数，同时不需要考虑大数问题注意点：1. 指数为负数时，可以先对指数求绝对值，算出结果再取倒数。2. 当底数是0且指数是负数时，需进行特殊处理代码：...

转载 python 二进制中1的个数

题目描述输入一个整数，输出该数二进制表示中1的个数。其中负数用补码表示。思路：这里涉及到一个巧妙的算法，就是对于一个二进制整数，将它减一和它本身相与，会把这个整数最右边的1变为零，直到全为0为止，有多少1就可以循环多少次。对于负数，将最高位的符号位取反就可以获得补码，通常我们采用和0x7FFFFFFF相与来得到。ps：第一次接触这种题目的话不要要求自己主动想到，记住就好了。代码：...

转载 python 快排

原创 python 给定一个排序链表，删除所有重复的元素，使得每个元素只出现一次

题目给定一个排序链表，删除所有重复的元素，使得每个元素只出现一次。示例 1:输入: 1->1->2输出: 1->2示例 2:输入: 1->1->2->3->3输出: 1->2->3解题方案...

转载 python 实现二分查找

转 https://www.cnblogs.com/longyunfeigu/p/9316082.html原理二分查找又称折半查找，优点是比较次数少，查找速度快，平均性能好；其缺点是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而查找频繁的有序列表。首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将...