Dby_freedom的博客

转载 奇异值分解(SVD)原理与在降维中的应用

奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。是很多机器学习算法的基石。本文就对SVD的原理做一个总结，并讨论在在PCA降维算法中是如何运用运用SVD的。1. 回顾特征值和特征向量我们首先回顾下特征值和特征向量的定义如下：Ax=λxAx=\...

转载 KL散度与交叉熵区别与联系

通用的说，熵(Entropy)被用于描述一个系统中的不确定性(the uncertainty of a system)。在不同领域熵有不同的解释，比如热力学的定义和信息论也不大相同。要想明白交叉熵(Cross Entropy)的意义，可以从熵(Entropy) -> KL散度(Kullback-Leibler Divergence) -> 交叉熵这个顺序入手。 当然，也有多种解释方法...

原创 CTR 预测理论（六）：神经网络损失函数与激活函数的选择及各自优缺点

DNN可以使用的损失函数和激活函数不少。这些损失函数和激活函数如何选择呢？下面我们就对DNN损失函数和激活函数的选择做一个总结。1. 梯度消失与梯度爆炸我们设第一层卷积的参数为 (W1,b1)(W_1, b_1)(W1​,b1​)第二层卷积的参数是，(W2,b2)(W_2, b_2)(W2​,b2​)依次类推。又设激活函数为 fff，每一层卷积在经过激活函数前的值为 ，经aia_iai​过激活...

原创 剑指offer 21. 包含min函数的栈

原题定义栈的数据结构，请在该类型中实现一个能够得到栈中所含最小元素的min函数（时间复杂度应为O（1））。Reference Answer思路分析思路：使用一个辅助栈保存最小值# -*- coding:utf-8 -*-class Solution: def __init__(self): self.stack = [] self.min_num...

原创 剑指offer 19. 顺时针打印矩阵

原题输入一个矩阵，按照从外向里以顺时针的顺序依次打印出每一个数字，例如，如果输入如下4 X 4矩阵： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 则依次打印出数字1,2,3,4,8,12,16,15,14,13,9,5,6,7,11,10.Reference Answer思路分析时刻定位矩阵的左上角索引坐标和右下角索引坐标。当顺时针转完一圈之后，左上角...

原创 剑指offer 18.树的子结构

原题输入两棵二叉树A，B，判断B是不是A的子结构。（ps：我们约定空树不是任意一个树的子结构）Reference Answer思路分析递归思想，如果根节点相同则递归调用IsSubtree()，如果根节点不相同，则判断root1的左子树和roo2是否相同，再判断右子树和root2是否相同;注意节点为空的条件，HasSubTree中，只要有树为空就返回false; IsSubtree中，要...

原创 剑指offer 17. 合并两个排序的链表

原题在一个二维数组中（每个一维数组的长度相同），每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。My Answer思路分析思路很清晰，只是需要注意，创建新链表的方法：head = ListNode(1)，最后返回时候是返回的start.next；# -*- coding:utf-8 -*-...

原创 剑指offer 16. 反转链表

原题输入一个链表，反转链表后，输出新链表的表头。Reference Answer解题思路:对于这种python求解链表题，尤其是本题让返回节点或者值，直接先遍历玩链表转换到 python 的list中，再进行操作，顺风顺水。# class ListNode:# def __init__(self, x):# self.val = x# sel...

原创 剑指offer 15. 链表中倒数第k个结点

原题输入一个链表，输出该链表中倒数第k个结点。Reference Answer解题思路:对于这种python求解链表题，尤其是本题让返回节点或者值，直接先遍历玩链表转换到 python 的list中，再进行操作，顺风顺水。# -*- coding:utf-8 -*-# class ListNode:# def __init__(self, x):# self...

原创 剑指offer 14. 调整数组顺序使奇数位于偶数前面

原题输入一个整数数组，实现一个函数来调整该数组中数字的顺序，使得所有的奇数位于数组的前半部分，所有的偶数位于数组的后半部分，并保证奇数和奇数，偶数和偶数之间的相对位置不变。My solution# -*- coding:utf-8 -*-class Solution: def reOrderArray(self, array): # write code here...

原创 剑指offer 13. 数值的整数次方

原题给定一个double类型的浮点数base和int类型的整数exponent。求base的exponent次方。My Answer# -*- coding:utf-8 -*-class Solution: def Power(self, base, exponent): # write code here return base ** (expon...

原创 剑指offer 12. 二进制中1的个数

原题输入一个整数，输出该数二进制表示中1的个数。其中负数用补码表示。My solution (Wrong)# -*- coding:utf-8 -*-class Solution: def NumberOf1(self, n): # write code here abs_n = abs(n) count = 0 wh...

原创 经典排序算法优劣比较（总结）

1. 冒泡排序冒泡排序是最简单的排序之一了，其大体思想就是通过与相邻元素的比较和交换来把小的数交换到最前面。这个过程类似于水泡向上升一样，因此而得名。举个栗子，对5,3,8,6,4这个无序序列进行冒泡排序。首先从后向前冒泡，4和6比较，把4交换到前面，序列变成5,3,8,4,6。同理4和8交换，变成5,3,4,8,6,3和4无需交换。5和3交换，变成3,5,4,8,6,3.这样一次冒泡就完了，把...

原创 10 Min to Pandas(脑图)

原创 剑指offer 11. 矩阵覆盖

原题我们可以用21的小矩形横着或者竖着去覆盖更大的矩形。请问用n个21的小矩形无重叠地覆盖一个2*n的大矩形，总共有多少种方法？My Answer解题思路:依旧是典型回溯法，只需要找出递归规律即可，完事用回溯法实现。事实上，这个规律开始并没有一眼看出，对于这种情况，可以先尝试做出几个结果之后找规律，如 n=0 时，对应 res[0] = 0，res[1] = 1，res[2] = 2，r...

原创 剑指offer 10. 变态跳台阶

原题一只青蛙一次可以跳上1级台阶，也可以跳上2级……它也可以跳上n级。求该青蛙跳上一个n级的台阶总共有多少种跳法。Reference Answer解题思路:依旧是典型回溯法，只需要找出递归规律即可，完事用回溯法实现。递归规律为： res[n] = res[n-1] + res[n-2] + ...+ res[0] + 1，+1表示直接跳到第n级台阶。# -*- coding:utf-8...

原创 剑指offer 9. 跳台阶

原题一只青蛙一次可以跳上1级台阶，也可以跳上2级。求该青蛙跳上一个n级的台阶总共有多少种跳法（先后次序不同算不同的结果）。Reference Answer解题思路:典型回溯法，递归也能用，就是效率低。# -*- coding:utf-8 -*-class Solution: def jumpFloor(self, number): # write code he...

原创 剑指offer 8. 斐波那契数列

原题大家都知道斐波那契数列，现在要求输入一个整数n，请你输出斐波那契数列的第n项（从0开始，第0项为0）。n<=39Reference Answer解题思路:直接用回溯法了，用递归效率低。# -*- coding:utf-8 -*-class Solution: def Fibonacci(self, n): # write code here ...

原创 剑指offer 7. 旋转数组的最小数字

原题把一个数组最开始的若干个元素搬到数组的末尾，我们称之为数组的旋转。 输入一个非减排序的数组的一个旋转，输出旋转数组的最小元素。 例如数组{3,4,5,1,2}为{1,2,3,4,5}的一个旋转，该数组的最小值为1。 NOTE：给出的所有元素都大于0，若数组大小为0，请返回0。My Answer解题思路:利用二分法进行查找最小数，尤其要注意的是这里判别条件是if end - start ...

原创 剑指offer 6. 用两个栈实现队列

原题用两个栈来实现一个队列，完成队列的Push和Pop操作。 队列中的元素为int类型。Reference Answer解题思路:用两个栈来实现队列的增添元素和删除元素，队列是一种特殊的线性结构，它只允许从队列的开始端（font）删除元素，从队列的末尾（rear）插入元素，特点是先进先出（FIFO）。入队：将s1作为入队操作的栈，当需要添加元素时，将其添加到栈中，要注意两点，若元素都存...

翻译 LightGBM Parameters Tuning

Parameters TuningThis page contains parameters tuning guides for different scenarios.List of other helpful linksParametersPython APITune Parameters for the Leaf-wise (Best-first) TreeLightGBM ...

原创 剑指offer 5. 二叉树的下一个节点

原题输入某二叉树的前序遍历和中序遍历的结果，请重建出该二叉树。假设输入的前序遍历和中序遍历的结果中都不含重复的数字。例如输入前序遍历序列{1,2,4,7,3,5,6,8}和中序遍历序列{4,7,2,1,5,3,8,6}，则重建二叉树并返回。Reference Answer解题思路:　　　　分析二叉树的下一个节点，一共有以下情况：二叉树为空，则返回空；节点右孩子存在，则设置一个...

原创 剑指offer 4. 重建二叉树

原题输入某二叉树的前序遍历和中序遍历的结果，请重建出该二叉树。假设输入的前序遍历和中序遍历的结果中都不含重复的数字。例如输入前序遍历序列{1,2,4,7,3,5,6,8}和中序遍历序列{4,7,2,1,5,3,8,6}，则重建二叉树并返回。My Answer思路分析算法设计思想:　　前序遍历序列的第一个元素为根结点的值，然后在中序遍历序列中寻找根节点的值的位置（索引）。从中序遍历序列的...

原创 剑指offer 3. 从尾到头打印链表

原题输入一个链表，按链表值从尾到头的顺序返回一个ArrayList。My Answer思路分析直接正序遍历，取出数值，再对result进行反转输出，代码如下：# -*- coding:utf-8 -*-# class ListNode:# def __init__(self, x):# self.val = x# self.next = N...

原创 剑指offer 2. 替换空格

原题请实现一个函数，将一个字符串中的每个空格替换成“%20”。例如，当字符串为We Are Happy.则经过替换之后的字符串为We%20Are%20Happy。My Answer思路分析直接调用python的replace函数，代码如下：# -*- coding:utf-8 -*-# -*- coding:utf-8 -*-class Solution: # s 源字符串...

转载 使用sklearn进行数据预处理之Binarizer,LabelEncoder,LabelBinarizer,OneHotEncoder

前言数据预处理的过程中经常需要对数据进行数值化等处理，比如将性别男女转换为计算机可以理解的1和0，还有将数值化的1，2，3，4，5按照阈值3转换为0，0，0，1，1等，下面介绍一下sklearn提供的类。Binarizer这个就是根据阈值将数值型转变为二进制型，阈值可以进行设定，另外只能对数值型数据进行处理，且传入的参数必须为2D数组，也就是不能是Series这种类型，shape为(m,n)...

原创 剑指offer 3. 二维数组中的查找

原题在一个二维数组中（每个一维数组的长度相同），每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。My Answer思路分析直接遍历数组，之前想着尝试如果既然数组向下向右都是递增，对数组从行列由小到大进行遍历时候，如果发现了array[i][j] > target，则可以确定数组不含这个...

转载 一篇文章掌握Numpy的基本用法

Python：一篇文章掌握Numpy的基本用法 前言Numpy是一个开源的Python科学计算库，它是python科学计算库的基础库，许多其他著名的科学计算库如Pandas，Scikit-learn等都要用到Numpy库的一些功能。本文主要内容如下：Numpy数组对象创建ndarray数组Numpy的数值类型ndarray数组的...

原创 CTR 预测理论（一）：机器学习算法优缺点对比及选择（汇总篇）

本文的目的，是务实、简洁地盘点一番当前机器学习算法。文中内容结合了个人在查阅资料过程中收集到的前人总结，同时添加了部分自身总结，在这里，依据实际使用中的经验，将对此模型优缺点及选择详加讨论。主要回顾下几个常用算法的适应场景及其优缺点！机器学习算法太多了，分类、回归、聚类、推荐、图像识别领域等等，要想找到一个合适算法真的不容易，所以在实际应用中，我们一般都是采用启发式学习方式来实验。通常最开始我...

原创 机器学习算法代码汇总

原创 LeetCode 95. Unique Binary Search Trees II(独特的二进制搜索树 II)

原题Given an integer n, generate all structurally unique BST’s (binary search trees) that store values 1 … n.给定一个整数，生成所有结构上唯一的 BST (二进制搜索树) 存储值 1…n。Example:Input: 3Output:[ [1,null,3,2], [3,2,...

原创 LeetCode 94. Binary Tree Inorder Traversal(二叉树中序遍历)

原题Given a binary tree, return the inorder traversal of its nodes’ values.给定二叉树，返回其中序遍历。Example:Input: [1,null,2,3] 1 \ 2 / 3Output: [1,3,2]Note:Follow up: Recursive solutio...

原创 LeetCode 64. Minimum Path Sum (最小路径和)

原题Given a m x n grid filled with non-negative numbers, find a path from top left to bottom right which minimizes the sum of all numbers along its path.Note: You can only move either down or right at...

原创 LeetCode 63. Unique Paths II（独立路径）

原题A robot is located at the top-left corner of a m x n grid (marked ‘Start’ in the diagram below).The robot can only move either down or right at any point in time. The robot is trying to reach the ...

原创 LeetCode 49. Group Anagrams（字谜组合）

原题Given an array of strings, group anagrams together.Example:Input: ["eat", "tea", "tan", "ate", "nat", "bat"],Output:[ ["ate&qu

原创 LeetCode 48. Rotate Image（旋转图像）

原题You are given an n x n 2D matrix representing an image.Rotate the image by 90 degrees (clockwise).Note:You have to rotate the image in-place, which means you have to modify the input 2D matrix d...

原创 LeetCode 46. Permutations（排列）

原题Given a collection of distinct integers, return all possible permutations.题目：给定一个不同整数的集合, 返回所有可能的置换。Example:Input: [1,2,3]Output:[ [1,2,3], [1,3,2], [2,1,3], [2,3,1], [3,1,2], [3,...

转载 克服SVM噪声敏感性及如何利用SVM处理非平衡数据

前言这篇文章首先探讨了SVM为什么会对噪声敏感的问题，然后引出了解决办法——软间隔分类器，接着介绍了松弛变量和惩罚因子，并介绍了样本偏斜的解决办法，最后有一个总结。SVM为什么会对噪声敏感？之前看周志华老师的《机器学习》里说SVM对噪声敏感，后来查了一些资料，然后有了自己的理解，在这里做一个总结。SVM的基本形态是一个硬间隔分类器，它要求所有样本都满足硬间隔约束(即函数间隔要大于1)，所以...

原创 算法与数据结构（三）：回溯法理论、应用及模板（排列、组合）

原理初入门有时会遇到这样一类题目，它的问题可以分解，但是又不能得出明确的动态规划或是递归解法，此时可以考虑用回溯法解决此类问题。回溯法的优点 在于其程序结构明确，可读性强，易于理解，而且通过对问题的分析可以大大提高运行效率。但是，对于可以得出明显的递推公式迭代求解的问题，还是不要用回溯法，因为它花费的时间比较长。回溯算法的基本思想是：从一条路往前走，能进则进，不能进则退回来，换一条路再试。可...

原创 LeetCode 39. Combination Sum（组合总数）

原题Given a set of candidate numbers (candidates) (without duplicates) and a target number (target), find all unique combinations in candidates where the candidate numbers sums to target.The same repe...