- 博客(27)
- 收藏
- 关注
RSS订阅原创 推荐几款chrome的插件，体验不一样的赶脚
目录远方 New TabuBlock OriginThe Great Suspenderjson-vieweroctotree远方 New Tab单的说，每次打开一个新的标签页，都会有一张看了心情很好的风景图~uBlock Origin记得要下origin版本哦另外一个同名的是商业公司版本，害怕会加什么蜜汁优化来看一下效果，对付广告贼多的csdnThe Great Suspend...
2020-04-30 22:29:35
913
1
原创 Leetcode542，1162 BFS在二维矩阵中的应用
二维矩阵中的BFS，求最短XX的问题1.BFS的核心要点2.Leetcode 542 0 1 矩阵2.1题目2.2代码3.Leetcode1162 地图分析3.1题目3.2代码1.BFS的核心要点一、广度优先搜索思路：对于 「Tree 的 BFS」 （典型的「单源 BFS」） 大家都已经轻车熟路了：首先把 root 节点入队，再一层一层无脑遍历就行了。对于 「图 的 BFS」 （「...
2020-04-29 19:48:01
377
原创 Tensorflow基本结构练习-实现简单的线性回归
根据数据建立回归模型，w1x1+w2x2+…..+b = y，通过真实值与预测值之间建立误差，使用梯度下降优化得到损失最小对应的权重和偏置。最终确定模型的权重和偏置参数。最后可以用这些参数进行预测。二、案例：实现线性回归的训练1 .案例确定假设随机指定100个点，只有一个特征 数据本身的分布为 y = 0.7 * x...
2020-04-26 14:03:31
309
原创 如何理解推荐系统离线和线上auc和线上点击率不一致的问题？
目录1. 特征/数据出现穿越2. 线上线下特征不一致3. 数据分布的不一致离线指标和线上指标不一致是个常见的问题，花了很大力气好不容易离线auc涨了不少，上线一看效果ctr和cpm反而下降。本文例举几种可能的原因和解决办法。1. 特征/数据出现穿越一般就是使用了和label强相关的特征导致的数据泄漏。这种问题一般相对好查，很多时候在离线阶段就能发现。明显的表现就是训练集和测试集差异比较大2...
2020-04-24 22:23:48
2825
原创 Leetcode208 ，820 字典树/Trie树/前缀树介绍以及用途
目录1.字典树/Trie树/前缀树2.Leetcode208 实现 Trie (前缀树)3.LeetCode820 单词的压缩编码1.字典树/Trie树/前缀树字典树又名前缀树，Trie树，是一种存储大量字符串的树形数据结构，相比于HashMap存储，在存储单词（和语种无关，任意语言都可以）的场景上，节省了大量的内存空间。下图演示了一个保存了8个单词的字典树的结构，8个单词分别是：“A”,...
2020-04-23 22:38:41
377
原创 C++ 二叉树的最大深度，最小深度 递归解法
这里写目录标题二叉树的最大深度二叉树的最小深度二叉树的最大深度二叉树的最大深度就是根节点到叶子节点的最大路径。我们采用后序遍历的方式，对于左子树求得最大深度，右子树最大深度。我们要取最大的因此就是max(left,right)，再加1是因为return的时候带上本身的root节点因此要加个自己也就是+1.class Solution {public: int run(TreeNod...
2020-04-22 14:16:35
680
转载 算法工程师面试准备——深度学习
文章目录神经网络梯度消失与梯度爆炸简述现象产生梯度消失的根本原因梯度爆炸的根本原因当激活函数为sigmoid时，梯度消失和梯度爆炸哪个更容易发生？如何解决梯度消失和梯度爆炸激活函数sigmodtanhReLULeaky ReLU优化方法SGDMomentumAdagradRMSpropAdam牛顿法拟牛顿法共轭梯度法Batch Normalization为什么传统的神经网络在训练开始之前，...
2020-04-21 21:38:20
485
转载 算法工程师面试——机器学习，特征工程基础
算法工程师面试准备——机器学习基础 特征工程为什么要归一化归一化可以提高收敛速度，提高收敛的精度归一化：最大值、均值标准化：Z-score...
2020-04-21 21:28:47
3201
原创 SQL关键字执行顺序
Mysql 的SQL关键字执行顺序对于很长SQL的语句，我们要知道SQL关键字的执行顺序，从而能够更好的理解。图中非常清晰描述了SQL关键字的过程。图解执行顺序详解：FROM：对FROM子句中前两个表执行笛卡尔积生成虚拟表vt1ON: 对vt1表应用ON筛选器只有满足 join_condition 为真的行才被插入vt2OUTER(JOIN)：如果指定了 OUTER J...
2020-04-21 21:05:02
638
原创 numpy库维度变换方法：reshape、resize、swapaxes、flatten等详解与实例
numpy库对多维数组有非常灵巧的处理方式，主要的处理方法有：.reshape(shape) ： 不改变数组元素，返回一个shape形状的数组，原数组不变.resize(shape) ： 与.reshape()功能一致，但修改原数组In [22]: a = np.arange(20)#原数组不变In [23]: a.reshape([4,5])Out[23]:array([[ 0, ...
2020-04-21 14:20:20
1859
原创 Spark 常用Shuffle算子汇总
Spark Shuffle算子汇总一、去重二、聚合三、排序四、重分区五、集合或者表操作我们在写spark时候，shuffle算子我们格外小心，因为shuffle有时候会造成数据倾斜问题，那么我们在编写代码时，要十分清楚哪些是shuffle算子，在后续排查问题时能够快速定位。一、去重def distinct()def distinct(numPartitions: Int)二、聚合de...
2020-04-20 15:40:21
2113
原创 Spark性能优化指南—数据倾斜问题调优常用思路
Spark性能优化指南——高级篇数据倾斜发生时的现象数据倾斜发生的原理数据倾斜的解决方案1.过滤少数导致倾斜的key2.提高shuffle操作的并行度3.两阶段聚合（局部聚合+全局聚合）4.将reduce join转为map join5.采样倾斜key并分拆join操作6.使用随机前缀和扩容RDD进行joinspark处理数据时候，数据倾斜问题是经常发生的，如何缓解数据倾斜对于spark运算效率...
2020-04-19 21:54:48
341
原创 Git 基本知识以及常用操作手册
Git 基本知识以及常用操作 Git基本知识学习Git总结新建代码库首次本地项目上传【步骤】配置更新文件代码提交.git目录分支标签查看信息远程同步撤销补充【stash】Git基本知识学习推荐廖雪峰老师的教程 Git总结操作仓库变化专用...
2020-04-19 15:16:26
203
原创 剑指offer 反转链表递归 非递归 / 从尾到头打印链表
目录反转链表1.递归2.非递归从尾到头打印链表1.非递归反转链表的题目是链表中非常基础的题目，因此也是面试很常考的题目，对于反转链表需要掌握递归和非递归两种形式。反转链表1.递归对于递归的方法，我们要知道递归的结构，我们要反转head开始的链表，需要先反转head->next的链表，head->next反转之后，可以进行核心的操作语句head->next->next...
2020-04-18 20:20:12
216
原创 Spark Join操作 图文例子说明
JOIN在Spark Core中的使用Inner joinleft outer joinright outer joinfull outer joinInner joininner join，只返回左右都匹配上的// 启动spark-shell，定义两个rdd，做join操作[hadoop@hadoop01 ~]$ spark-shell --master local[2]scala&g...
2020-04-18 13:57:04
834
原创 Spark基础性能调优-开发调优，资源调优
Spark基础性能调优开发调优原则一：避免创建重复的RDD，尽可能复用同一个RDD原则二：对多次使用的RDD进行持久化尽量避免使用shuffle类算子原则四：使用预聚合的shuffle操作原则五：使用高性能的算子资源调优num-executorsexecutor-memoryexecutor-cores数据倾斜调优做推荐算法相关的工作时，数据量是非常大的，我们学习Spark就很有必要。不同的写法...
2020-04-18 12:06:04
371
原创 Spark算子调优—基本的算子调优
Spark常见RDD算子调优算子调优一：mapPartitions算子调优二：foreachPartition优化数据库操作算子调优三：filter与coalesce的配合使用算子调优四：repartition解决SparkSQL低并行度问题算子调优五：reduceByKey本地聚合算子调优一：mapPartitions普通的map算子对RDD中的每一个元素进行操作，而mapPartition...
2020-04-18 00:10:43
1165
原创 剑指offer 和为S的连续正数序列 滑动窗口法 解决连续序列问题
目录题目描述核心思想代码题目描述小明很喜欢数学,有一天他在做数学作业时,要求计算出9~16的和,他马上就写出了正确答案是100。但是他并不满足于此,他在想究竟有多少种连续的正数序列的和为100(至少包括两个数)。没多久,他就得到另一组连续正数和为100的序列:18,19,20,21,22。现在把问题交给你,你能不能也很快的找出所有和为S的连续正数序列? Good Luck!核心思想给定一个...
2020-04-17 12:08:36
181
原创 剑指offer 调整数组顺序使奇数位于偶数前面（快慢指针）
调整数组顺序使奇数位于偶数前面题目描述核心思想代码题目描述输入一个整数数组，实现一个函数来调整该数组中数字的顺序，使得所有的奇数位于数组的前半部分，所有的偶数位于数组的后半部分，并保证奇数和奇数，偶数和偶数之间的相对位置不变。核心思想这道题最关键的地方由两部分。奇数都排在偶数的前面保证奇数和奇数，偶数和偶数之间的相对位置不变。如果题目中不要求相对位置。那么其实使用快慢指针，进行s...
2020-04-16 20:48:09
129
原创 剑指offer Leetcode 46，47 字符串的排列 全排列问题（通用解法）
目录1.1 题目描述1.2 解题思路1.3 全排列中的字符不重复 （leetcode 46）1.4 全排列中包含重复的字符（leetcode 47）1.1 题目描述输入一个字符串,按字典序打印出该字符串中字符的所有排列。例如输入字符串abc,则打印出由字符a,b,c所能排列出来的所有字符串abc,acb,bac,bca,cab和cba。1.2 解题思路对于全排列问题，不论是字符串的全排列还...
2020-04-16 19:37:44
307
原创 SparkSQL数据读取 简单操作使用 DataFrames相关操作
目录一 认识SparkSQL1.1 什么是SparkSQL1.2 SparkSQL的作用1.3 运行原理1.4 特点1.5 SparkSession1.6 DataFrames二 RDD转换为Dataframe方式一：通过 case class 创建 DataFrames（反射）方式二：通过 structType 创建 DataFrames（编程接口）方式三：通过 json 文件创建 DataF...
2020-04-16 18:35:16
658
原创 ICN信息与中心网络介绍，ICN，NDN路由过程（简单易懂）
ICN（Information-Centric Networking）初步介绍当前的互联网体系结构是基于终端间包交换的点到点连接通信架构。随着实时视频、话音等通信业务量的日益激增，由于TCP/IP体系固有结构的束缚，互联网传输、处理这些实时多媒体数据的能力受到越来越大的挑战，体现在效率低下、用户体验差。总结如下，目前基于TCP/IP的互联网体系架构具有以下缺点：1.不安全，可靠性差2.大量...
2020-04-16 15:14:32
7752
1
原创 大数据如何找中位数，TopN，大体思路（通用）。
文章目录1.从10亿个数据（int型占据4B）中找中位数，内存限制为1GB2.从10亿数中选取前1000大的数字从10亿个数据（int型占据4B）中找中位数，内存限制为1GB不可能一次性把数据全部加载到内存中，再使用快速排序算法，因为10亿*4B大约为4GB，内存不够可以一次性读入1GB的数据（分10次读取），然后对读入的1GB数据按照最高位即第32位的值进行分类并写入文件，如果最高位是...
2020-04-15 15:59:53
2735
原创 LeetCode 145 二叉树后序遍历 递归非递归 通俗易懂的万能模板方法
LeetCode 145 二叉树后序遍历 递归非递归 通俗易懂的万能模板方法1.递归 二叉树后序遍历2.非递归 二叉树后序遍历 万能模板法二叉树的遍历方式作为面试热门考点，相信递归的方式大家都很容易能够写出来，但只掌握递归的方法是不够的，还需要的掌握非递归的方式，介绍一种能够解决前、中、后三种遍历的非递归形式的模板。一次性解决非递归问题！！前序遍历的万能模板法中序遍历的万能模板法1.递...
2020-04-15 15:34:26
568
原创 LeetCode 94 二叉树中序遍历 递归非递归 通俗易懂的万能模板方法
LeetCode 144 二叉树中序遍历 递归非递归 通俗易懂的万能模板方法1.递归 二叉树中序遍历2.非递归 二叉树中序遍历 万能模板法二叉树的遍历方式作为面试热门考点，相信递归的方式大家都很容易能够写出来，但只掌握递归的方法是不够的，还需要的掌握非递归的方式，介绍一种能够解决前、中、后三种遍历的非递归形式的模板。一次性解决非递归问题！！前序遍历的万能模板法后序遍历的万能模板法1.递...
2020-04-15 15:28:19
197
原创 LeetCode 144 二叉树前序遍历 递归非递归 通俗易懂的万能模板方法
LeetCode 144 二叉树前序遍历 递归非递归 通俗易懂的万能模板方法1.递归 二叉树前序遍历2.非递归 二叉树前序遍历 万能模板法2.1递归和栈的关系2.2 万能模板法二叉树的遍历方式作为面试热门考点，相信递归的方式大家都很容易能够写出来，但只掌握递归的方法是不够的，还需要的掌握非递归的方式，介绍一种能够解决前、中、后三种遍历的非递归形式的模板。一次性解决非递归问题！！1.递归 ...
2020-04-15 15:20:55
326
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人