- 博客(49)
- 资源 (21)
- 收藏
- 关注
RSS订阅原创 梯度消失、爆炸原因
梯度消失经常出现，一是在深层网络中，二是采用了不合适的损失函数，比如sigmoid。梯度爆炸一般出现在深层网络和权值初始化值太大的情况下1.深层网络角度如果上一层梯度大于1，那么层数增多的时候，最终的求出的梯度更新将以指数形式增加，即发生梯度爆炸，如果上一层梯度小于1，那么随着层数增多，求出的梯度更新信息将会以指数形式衰减，即发生了梯度消失。2.激活函数角度如果使用sigmoid作为损失函...
2020-09-30 22:00:36
9799
原创 LeetCode410. 分割数组的最大值（python，二分法）
1. 题目给定一个非负整数数组和一个整数 m，你需要将这个数组分成 m 个非空的连续子数组。设计一个算法使得这 m 个子数组各自和的最大值最小。注意:数组长度 n 满足以下条件:1 ≤ n ≤ 10001 ≤ m ≤ min(50, n)示例:输入:nums = [7,2,5,10,8]m = 2输出:18解释:一共有四种方法将nums分割为2个子数组。其中最好的方式是将其分为[7,2,5] 和 [10,8]，因为此时这两个子数组各自的和的最大值为18，在所有情况中最小。
2020-09-30 15:04:20
476
原创 Hadoop，Spark面试题汇总
Hadoop 有哪些组件？（1）HDFS集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。（2）YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager（3）MapReduce：它其实是一个应用程序开发包。————————————————版权声明：...
2020-09-24 12:20:29
1234
原创 LeetCode面试题 17.01. 不用加号的加法
1. 题目设计一个函数把两个数字相加。不得使用 + 或者其他算术运算符。示例:输入: a = 1, b = 1输出: 2提示：a, b 均可能是负数或 0结果不会溢出 32 位整数来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/add-without-plus-lcci著作权归领扣网络所有。商业转载请联系官方授权，非商业转载请注明出处。2. 题解Javaclass Solution { public static
2020-09-24 11:35:25
286
原创 Faiss向量召回引擎如何做到快速查找最近邻
Faiss是Facebook开源的向量召回引擎，用于寻找与某个向量最相似的N个向量。1. 简介向量量化(Vector Quantization)所谓向量量化，就是将原来无限的空间 映射到一个有限的向量集合当然这里的映射函数也不是随便指定的，需要满足误差最小的原则，一种方法是将优化函数设置为最小平方误差：正好就是k-means方法的目标函数！因此我们可以用k-means作为寻找最佳codebook的方法。假设我们将原来2000W个向量映射到大小为20W的集合中(平均每个中心点代表100
2020-09-22 22:47:48
9593
原创 python状态码
56、列出常见的状态码和意义200 OK请求正常处理完毕204 No Content请求成功处理，没有实体的主体返回206 Partial ContentGET范围请求已成功处理301 Moved Permanently永久重定向，资源已永久分配新URI302 Found临时重定向，资源已临时分配新URI303 See Other临时重定向，期望使用GET定向获取304 Not Modified发送的附带条件请求未满足307 Temporary Redirect临时重定向，P
2020-09-21 23:40:18
365
原创 python list底层实现
列表实现可以是数组和链表。这里数值是指动态数组。因此：利用 list.insert(i,item) 方法在任意位置插入一个元素——复杂度O(N)利用 list.pop(i) 或 list.remove(value) 删除一个元素——复杂度O(N)index() O(1)append O(1)pop() O(1)pop(i) O(n)insert(i,item) O(n)del operator O(n)iteration O(n)contains(in) O(n)get slice[
2020-09-21 08:32:42
491
原创 python 大数两数相减
问题描述两个长度超出常规整形变量上限的大数相减，避免使用各语言内置库。输入两个代表整数的字符串 a 和 b，长度超过百位。输出 ：返回表示结果整数的字符串。#!/usr/bin/env python# encoding=utf-8def big_num_minus(str1, str2): res = "" carry = 0 minus_flag = False if len(str1) < len(str2): minus_flag
2020-09-20 23:37:02
2636
原创 LeetCode3.无重复字符的最长子串
1. 题目给定一个字符串，请你找出其中不含有重复字符的 最长子串 的长度。示例 1:输入: "abcabcbb"输出: 3 解释: 因为无重复字符的最长子串是 "abc"，所以其长度为 3。示例 2:输入: "bbbbb"输出: 1解释: 因为无重复字符的最长子串是 "b"，所以其长度为 1。示例 3:输入: "pwwkew"输出: 3解释: 因为无重复字符的最长子串是 "wke"，所以其长度为 3。 请注意，你的答案必须是 子串 的长度，"pwke" 是一个子序列
2020-09-20 22:36:02
188
原创 LeetCode283. 移动零
1. 题目给定一个数组 nums，编写一个函数将所有 0 移动到数组的末尾，同时保持非零元素的相对顺序。示例:输入: [0,1,0,3,12]输出: [1,3,12,0,0]说明:必须在原数组上操作，不能拷贝额外的数组。尽量减少操作次数。来源：力扣（LeetCode） 链接：https://leetcode-cn.com/problems/move-zeroes著作权归领扣网络所有。商业转载请联系官方授权，非商业转载请注明出处。2. 题解这题关键是复杂度降下来，这里给出 O(
2020-09-20 16:43:14
103
原创 python二进制和十进制，十六进制的转换
#!/usr/bin/env python# encoding=utf-8def binary2decimal(x): string = str(x)[2:][::-1] res = 0 for i,num in enumerate(string): res += int(num)*2**i return resdef decimal2binary(x): res = "" while x: m = x%2
2020-09-20 15:58:11
490
原创 字符串字符全组合（python）
1. 相邻字符的组合输入一个字符串，输出该字符串中相邻字符的所有组合。举个例子，如果输入abc，它的组合有a、b、c、ab、bc、abc。（注意：输出的组合需要去重）输入描述:一个字符串输出描述:一行，每个组合以空格分隔，相同长度的组合需要以字典序排序，且去重。示例1输入bac输出a b c ac ba bac链接：https://www.nowcoder.com/questionTerminal/837f4d04f5cb4f26a8215b2b95cc76a5来源：牛客网
2020-09-20 12:32:20
4142
2
原创 LeetCode120. 三角形最小路径和(python)
1. 问题给定一个三角形，找出自顶向下的最小路径和。每一步只能移动到下一行中相邻的结点上。相邻的结点 在这里指的是 下标 与 上一层结点下标 相同或者等于 上一层结点下标 + 1 的两个结点。例如，给定三角形：[ [2], [3,4], [6,5,7], [4,1,8,3]]自顶向下的最小路径和为 11（即，2 + 3 + 5 + 1 = 11）。说明：如果你可以只使用 O(n) 的额外空间（n 为三角形的总行数）来解决这个问题，那么你的算法会很加分。来源：
2020-09-20 11:05:17
366
原创 LeetCode剑指 Offer 47. 礼物的最大价值
1. 题目在一个 m*n 的棋盘的每一格都放有一个礼物，每个礼物都有一定的价值（价值大于 0）。你可以从棋盘的左上角开始拿格子里的礼物，并每次向右或者向下移动一格、直到到达棋盘的右下角。给定一个棋盘及其上面的礼物的价值，请计算你最多能拿到多少价值的礼物？示例 1:输入: [ [1,3,1], [1,5,1], [4,2,1]]输出: 12解释: 路径 1→3→5→2→1 可以拿到最多价值的礼物来源：力扣（LeetCode）链接：https://leetcode-cn.com
2020-09-19 22:14:06
235
原创 python random 模块
import randomdef test(): lt = [i for i in range(10)] print(random.choice(lt)) print(random.sample(lt, 5)) random.shuffle(lt) print("shuffle lt",lt) print(random.randrange(1,10)) print(random.randint(1,10)) print(random.rand
2020-09-19 16:31:17
436
原创 Python实现图的经典Dijkstra、Floyd算法
1. 简介对于最短路径算法的Dijkstra、Floyd算法:Dijkstra算法是求从某个源点到其余各个顶点的最短路径（单源最短路径），时间复杂度为 O(n2)O(n^2)O(n2) ，主要思想为每次在未确定的顶点中选取最短的路径，并把最短路径的顶点设为确定值，然后再由源点经该点出发来它相邻其他顶点的路径的值，重复以上步骤最后得到就是最短路径了。而Floyd算法针对的问题是求每对顶点之间的最短路径，相当于把Dijkstra算法执行了n遍（实际上并不是这样做），所以Floyd算法的时间复杂度为O(n3
2020-09-18 11:10:24
9293
原创 python self的含义
1. 简介self 是定义类的一个实例。比如类是 Human, self 等价于 Human().具体的原理是，python会自动对类调用 __init__方法，其中，需要把对象实例标识符传入这个方法中。因此，即使，我不用 self, 我也可以用其他的实例标识符代替。但默认是self。class Human(): def __init__(man,age,sex): man.age = age man.sex = sex def speak(man)
2020-09-18 09:56:28
356
原创 LeetCode32. 最长有效括号
1. 题目给定一个只包含 ‘(’ 和 ‘)’ 的字符串，找出最长的包含有效括号的子串的长度。示例 1:输入: "(()"输出: 2解释: 最长有效括号子串为 "()"示例 2:输入: ")()())"输出: 4解释: 最长有效括号子串为 "()()"来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/longest-valid-parentheses著作权归领扣网络所有。商业转载请联系官方授权，非商业转载请注明出处。2.
2020-09-17 11:08:08
136
原创 LeetCode470. 由1-7的随机整数函数构造1-10随机整数函数
https://blog.csdn.net/ljsspace/article/details/6820753
2020-09-16 09:46:31
299
原创 一个数最少能由几个完全平方数的和组成（动态规划）
用 dp[n] 代表n用完全平方数的和组成的最少个数。import mathdef is_sqrt(n): sqrt=math.sqrt(n) return sqrt-int(sqrt)==0def get_res(n): dp=[1]+[0]*n if(is_sqrt(n)):return 1 for i in range(1,n+1): if(is_sqrt(i)): dp[i]=1 con
2020-09-15 22:27:24
2168
原创 P2661 信息传递(并查集，python）
1. 题目原题2. 题解并查集找最小环。使用 path_count 来计算节点和父亲节点的距离。#!/usr/bin/env python# encoding=utf-8def init_parents(N): parents = {} path_count = {} for i in range(N): parents[i+1] = i+1 path_count[i+1] = 0 return parents, path_co
2020-09-12 15:44:10
241
原创 python assert和exception的区别
As for disabling them, when running python in optimized mode, where __debug__ is False, assert statements will be ignored. Just pass the -O flag:python -O script.py__debug__：如果程序运行时不带-O参数，则为True；反之则为False。https://docs.python.org/3/reference/simple_stmt
2020-09-11 12:37:59
659
原创 反欺诈调研（1）
1. 简介常见的场景：活动，比如拉新用户，一些黑产薅羊毛。某APP推出了双边现金奖励的拉新策略“邀请新用户注册，每人2元”，满10元可提现。策略上线1天后，某用户1天内邀请用户数达到5000人。从经验角度分析，该用户可能存在欺诈行为。现需要制订反欺诈策略，识别出更多的欺诈用户，以减少损失。在使用具体的反欺诈策略前，需要分析每个用户邀请新用户数量的分布情况，确定哪些用户可能存在欺诈行为，重点分析这些用户。邀请新用户数量在100个以上的用户占极少数（共31个），重点分析此类用户。2. 方法一、
2020-09-11 10:19:26
392
原创 GeoHash算法获取附近店铺和距离
1. 简介GeoHash算法将二维经纬度坐标直接转换成字符串，每一个字符串代表一个矩形区域，也就是说，这个矩形区域内所有的点（经纬度坐标）都共享相同的GeoHash字符串，字符串的长度越大，矩形的区域就越小，经度也就越高。字符串相似的表示距离相近，这样可以利用字符串的前缀匹配来查询附近的POI信息。2. GeoHash算法地球纬度区间是[-90,90]，经度区间是[-180,180]，通过区间法对经度和纬度分别进行计算，假如我们获取到的当前坐标为经度-0.12866, 纬度38.534413，以纬度为
2020-09-11 10:04:54
10522
原创 深度模型参数及超参数调整的经验汇总
（1）初始化对网络的权重参数进行初始化，比如：Xavier 的uniform， normal；一般的均匀分布，标准正态分布都可以尝试。神经网络参数初始化及Pytorch接口(2)Batch Normalization加快网络收敛，如果有BN了，全连接可以考虑不加Dropout。（3）激活函数选择Relu， 也可以改成PReLU， GELUs等relu变形。（4）学习率使用学习率衰减， 初始化的LR， 0.01, 0.001, 0.0001 等。注意的是，如果开始的学习率过大， 可能因为
2020-09-09 18:25:52
9940
1
原创 CTR模型：AFM
1. 简介FM模型将所有二阶交叉特征都认为同等重要， 一些二阶交叉特征是没有价值的，可能会引入噪声并且降低模型性能。AFM（Attentional FM）在2017年被提出，通过Attention机制来自动学习每个二阶交叉特征的重要性。和Wide&Deep， DeepCross等模型相比，AFM结构简单，参数更少，效果更好，AFM有更好的解释性，通过注意力权重知道哪些交叉特征对于预测贡献大。2. AFM 模型（1）Embedding层将每个特征映射到dense向量表示， 映射到向量 v
2020-09-08 23:44:58
8810
原创 CTR模型：NFM
1. 简介FM模型可以捕捉二阶特征，但只能线性组合，无法学习非线性关系。DNN虽然可以学习非线性特征交互，但深度网络难于训练。NFM（Neural Factorization Machines for Sparse Predictive Analytics∗）模型在2017年被提出。该模型结果FM二阶特征交互的线性，以及DNN高阶特征交互的非线性。FM 是NFM的特例，和Wide & Deep， Deep Crossing相比， NFM网络结构更浅，预测能力更强。NFM模型引入了二阶交叉
2020-09-08 23:13:22
8952
原创 CTR模型：推荐系统DeepFM模型
1.简介DeepFM模型：FM模型：使用向量内积作为成对的特征交互；虽然FM可以对特征高阶交互进行建模，但是复杂度高，一般就二阶特征交互。此外，FM模型的wide 网络仍然需要专业的特征构建。DeepFM：集成了FM模型和DNN模型，同时提取低阶和高阶的特征。2.DeepFM数据集(χ,y)(\chi, y)(χ,y)，参考：DeepFM: A Factorization-M...
2020-09-08 21:22:30
8547
1
原创 CTR模型：Deep&Cross Network
1. 简介DCN模型（Deep & Cross Network for Ad Click Predictions）是2017年提出的。出发点：（1）人工探索所有的交叉特征是不现实的；（2）难于推广未曾出现过的交叉特征。DNN能够自动探索交叉特征并推广到未出现过的交叉特征，但是DNN的学习效率不高，且无法显式的学习特征交叉。Deep&Cross Network, DCN 模型保留了DNN的优点，并提出了新的cross network，高效学习高阶特征交互。优点：（1）cross
2020-09-08 18:32:13
8775
转载 推荐系统基础（5）：推荐系统技术演进趋势
1. 简介最近两年，由于深度学习等一些新技术的引入，推荐系统表现出了一些比较明显的技术发展趋势。召回，主要根据用户部分特征，从海量的物品库里，快速找回一小部分用户潜在感兴趣的物品，然后交给排序环节，排序环节可以融入较多特征，使用复杂模型，来精准地做个性化推荐。召回强调快，排序强调准。四个环节是：召回，粗排序，精排序，重排。由于每个用户召回环节返回的物品数量还是太多，怕排序环节速度跟不上，在召回和精排之间加入一个粗排环节。通过少量的用户和物品特征，简单模型，对召回的结果进行粗略的排序，粗排往往是可
2020-09-08 12:39:20
9536
原创 CTR模型：DeepCrossing
1. 简介DeepCrossing是2016年提出的模型。对于web-scale, 特征数量大，如何自动组合特征生成高阶特征是一个问题。2. 模型2.1 数据在搜索广告任务中，有大量的原始特征，每个原始特征都用一个向量表示，原始特征包括：（1）用户 query：用户搜索文本；（2）广告主竞价 keyword：广告主的竞价关键词；（3）广告Title：广告的标题文本；（4）MatchType：广告主指定的关键词匹配类型。分为exact，phrase，broad，contextual.(5)
2020-09-08 00:38:02
8578
原创 CTR模型:PNN
1.简介PNN模型（Product-based Neural Networks for User ResponsePrediction）是2016年提出的。场景是预测用户反应，比如是点击，转化，在推荐系统，网络搜索，在线广告等，都有应用。但这些场景会存在很多的类别特征，包含多个fields, 典型的表示是通过one-hot把它转换到高维的稀疏二值特征表示。对应这种极端稀疏，传统模型局限于挖掘浅层的特征，比如，低阶特征组合。深度模型，比如深度神经网络，不能直接应用高维的输入，因为这会导致巨大的特征空
2020-09-08 00:16:09
8642
原创 CTR模型：FNN模型
1. 简介FNN 模型是2016年提出的，基于传统机器学习模型，如LR，FM等，的CTR预测方案被称为基于浅层模型的方案。 优点是模型简单，预测性能较好，可解释性强。缺点是，很难自动提取高阶组合特征携带的信息。于是， 基于因子分解即的神经网络（Factorization Machine supported Neural Network, FNN）被提出。2. FNN模型输入的类别特征是 field-wise one-hot编码的。每个field相当于一个类别特征，比如 city。FNN模型使用因
2020-09-07 21:46:42
12515
原创 CTR预估模型DSSM
1. 简介CTR预估模型主要用于搜索，推荐，计算广告等领域，传统CTR模型包括逻辑回归LR模型，因子分解机FM模型，梯度提升树GBDT模型等。优点是可解释性强，训练和部署方便，便于在线学习。在搜索广告的场景中，query 和document使用不同的单词，同一个单词不同形态来表达同一个概念，需要通过文本的单词匹配来计算query和document的相似性。2. DSSM 模型思想：将query 和document降维到公共的低维空间， 在低维空间，query 和document的相似性通过两者的
2020-09-07 21:06:37
9065
原创 python正则表达式(re match,search,sub等模块)
1.简介正则表达式是检查一个字符串是否与某种模式匹配。re 模块含有 match， search等功能正则表达式的语法：2. re.matchre.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，返回None.re.match(pattern, string, flags=0)pattern: 匹配的正则表达式；string：要匹配的字符串；flags: 标志位；此外，可以通过 group(num) 来获取匹配表达式的小组。import re l
2020-09-07 16:28:20
476
原创 随机梯度下降法 SGD
1. 梯度下降batch_size = 1: SGDbatch_size = n: mini-batchbatch_size = 全部训练集大小：batch SGD对比：（1）batch SGD： 噪声小， 幅度大一些；（2）mini-batch SGD: 效率高， 收敛快；我们实际在pytorch等框架使用的SGD，只要指定的batch size不等于 1， 就是 mini-batch SGD。（3）SGD：大部分时候向着全局最小值靠近， 但是有时候会远离最小值，SGD会有很多的噪声。 S
2020-09-07 09:52:59
9822
原创 NLP: GPT模型和GPT2.0模型
1. 简介NLP模型的发展历程：从Word2Vec->ELMo->GPT->BERT->MT-DNN->GPT2，NLP技术越来越倾向于用更少的有监督数据+更多的无监督数据去训练模型。2. GPT 模型思想：先通过无标签的文本去训练生成语言模型，再根据具体的NLP任务（文本分类，QA等），来通过有标签的数据对模型进行微调。2.1 模型结构模型使用了2017年提出的Transformer结构，整体是多层单向Transformer：训练数据：8亿词的BooksCo
2020-09-07 09:35:07
11604
原创 LeetCode300. 最长上升子序列（python）
1. 题目给定一个无序的整数数组，找到其中最长上升子序列的长度。示例:输入: [10,9,2,5,3,7,101,18]输出: 4 解释: 最长的上升子序列是 [2,3,7,101]，它的长度是 4。说明:可能会有多种最长上升子序列的组合，你只需要输出对应的长度即可。你算法的时间复杂度应该为 O(n2) 。进阶: 你能将算法的时间复杂度降低到 O(n log n) 吗?来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/longes
2020-09-07 08:41:15
488
原创 NLP：XLNet模型
1. 简介XLNet是一种类似BERT的模型，XLNet是一种通用的自回归预训练方法，由CMU和Google Brain团队在2019年6月发布，在18个任务取得了当前最佳效果，包括机器回答，自然语言推断，情感分析，文档排序。出发点：BERT是基于去噪自编码器的预训练模型，可以很好对双向语境信息建模，性能优于自回归语言模型的预训练方法。但是，优于需要mask一部分的输入，BERT模型忽略了mask位置之间的依赖关系，出现预训练和微调效果的差异。提出的XLNet是一种泛化的自回归预训练模型，可以：
2020-09-06 17:15:57
9268
python程序设计(浙江大学).rar
2020-10-22
生成对抗网络画猫python
2018-12-25
深度卷积生成对抗网络TensorFlow代码实现
2018-12-25
深度学习与自然语言处理
2018-12-13
python qt gui快速编程PyQt编程指南 pdf扫描版及随书源代码源码.zip
2018-03-04
MySQL编译文件直接下载安装mysqlclient-1.3.7-cp35-none-win_amd64.whl
2018-01-28
Python for Probability,Statistics,and Machine Learning.pdf
2018-01-11
TensorFlow_ Large-Scale Machine Learning
2017-12-17
数据结构基础期末考试 2005-2012.7z
2017-12-09
小波变换详解及应用2页PPT
2017-11-27
C++编写的图书馆管理系统
2017-11-22
arduinoTimerOneLibrary_v1.1.0
2017-11-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人