- 博客(63)
- 收藏
- 关注
RSS订阅原创 stage任务划分过程
1，App->Job(有几个行动算子就做几个job)当应用程序出现action()操作时，表示应用会出现一个job；该job的处理流程从输入数据到resultRDD；当应用程序有多个action()操作的时候，Spark会按照顺序为每个action()操作生成一个job。2，Job->Stage(遇到宽依赖则分stage)对于每个job，从其最后的RDD往前回溯，如果遇到NarrowDependecy（窄依赖），则将当前RDD的父RDD纳入stage，继续回溯；如果遇到Shu.
2021-02-25 22:01:26
703
原创 Hive小文件问题
Hive/Spark小文件问题问题零，先搞明白Hive的架构设计和工作流程hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行架构设计Hive的架构包括三个部分：Hive客户端，Hive服务端，Hive元数据存储数据库和hadoop集群1，Hive客户端：它为不同类型的应用
2021-01-30 13:46:39
376
1
原创 出现次数的问题
一，相关题目1【第一个只出现一次的字符】–剑指offer在一个字符串(0<=字符串长度<=10000，全部由字母组成)中找到第一个只出现一次的字符,并返回它的位置, 如果没有则返回 -1（需要区分大小写）.（从0开始计数）2【字符统计】–华为机试对字符中的各个英文字符（大小写分开统计），数字，空格进行统计，并按照统计个数由多到少输出,如果统计的个数相同，则按照ASII码由小到大排序输出 。如果有其他字符，则对这些字符不用进行统计。示例：输入aadddccddc输出dca3【数
2020-07-02 10:53:16
285
原创 滑动窗口类型题
第一题：滑动窗口的最大值来自：【剑指offer】题目：给定一个数组和滑动窗口的大小，找出所有滑动窗口里数值的最大值。例如，如果输入数组{2,3,4,2,6,2,5,1}及滑动窗口的大小3，那么一共存在6个滑动窗口，他们的最大值分别为{4,4,6,6,6,5}； 针对数组{2,3,4,2,6,2,5,1}的滑动窗口有以下6个： {[2,3,4],2,6,2,5,1}， {2,[3,4,2],6,2,5,1}， {2,3,[4,2,6],2,5,1}， {2,3,4,[2,6,2],5,1}， {2,3,
2020-07-02 10:22:45
310
原创 最小的k个数
一，问题输入n个整数，找出其中最小的K个数。例如输入4,5,1,6,2,7,3,8这8个数字，则最小的4个数字是1,2,3,4,。二，代码
2020-06-26 13:11:16
86
原创 把数组排成最小的数（python）
一，问题输入一个正整数数组，把数组里所有数字拼接起来排成一个数，打印能拼接出的所有数字中最小的一个。例如输入数组{3，32，321}，则打印出这三个数字能排成的最小数字为321323。二，分析...
2020-06-25 20:54:24
627
原创 和为s的两个数字
一，问题输入一个递增排序的数组和一个数字S，在数组中查找两个数，使得他们的和正好是S，如果有多对数字的和等于S，输出两个数的乘积最小的。输出描述:对应每个测试案例，输出两个数，小的先输出。二，代码...
2020-06-25 20:49:52
89
原创 数组中重复的数字
一，问题在一个长度为n的数组里的所有数字都在0到n-1的范围内。 数组中某些数字是重复的，但不知道有几个数字是重复的。也不知道每个数字重复几次。请找出数组中任意一个重复的数字。 例如，如果输入长度为7的数组{2,3,1,0,2,5,3}，那么对应的输出是第一个重复的数字2。二，代码...
2020-06-25 20:47:18
94
原创 构建乘积数组
一，问题给定一个数组A[0,1,…,n-1],请构建一个数组B[0,1,…,n-1],其中B中的元素B[i]=A[0]A[1]…*A[i-1]A[i+1]…*A[n-1]。不能使用除法。（注意：规定B[0] = A[1] * A[2] * … * A[n-1]，B[n-1] = A[0] * A[1] * … * A[n-2];）二，代码...
2020-06-25 20:44:55
70
原创 滑动窗口的最小值
一，问题给定一个数组和滑动窗口的大小，找出所有滑动窗口里数值的最大值。例如，如果输入数组{2,3,4,2,6,2,5,1}及滑动窗口的大小3，那么一共存在6个滑动窗口，他们的最大值分别为{4,4,6,6,6,5}； 针对数组{2,3,4,2,6,2,5,1}的滑动窗口有以下6个： {[2,3,4],2,6,2,5,1}， {2,[3,4,2],6,2,5,1}， {2,3,[4,2,6],2,5,1}， {2,3,4,[2,6,2],5,1}， {2,3,4,2,[6,2,5],1}， {2,3,4,2,
2020-06-25 20:43:21
402
原创 机器人的运动范围（python）
地上有一个m行和n列的方格。一个机器人从坐标0,0的格子开始移动，每一次只能向左，右，上，下四个方向移动一格，但是不能进入行坐标和列坐标的数位之和大于k的格子。 例如，当k为18时，机器人能够进入方格（35,37），因为3+5+3+7 = 18。但是，它不能进入方格（35,38），因为3+5+3+8 = 19。请问该机器人能够达到多少个格子？...
2020-06-25 20:40:42
292
原创 替换空格
一，题目描述请实现一个函数，将一个字符串中的每个空格替换成“%20”。例如，当字符串为We Are Happy.则经过替换之后的字符串为We%20Are%20Happy。二，代码
2020-06-25 20:38:57
88
原创 字符串的排列
一，题目描述输入一个字符串,按字典序打印出该字符串中字符的所有排列。例如输入字符串abc,则打印出由字符a,b,c所能排列出来的所有字符串abc,acb,bac,bca,cab和cba。输入描述:输入一个字符串,长度不超过9(可能有字符重复),字符只包括大小写字母。二，代码...
2020-06-25 20:37:42
95
原创 第一个只出现一次的字符
一，题目描述在一个字符串(0<=字符串长度<=10000，全部由字母组成)中找到第一个只出现一次的字符,并返回它的位置, 如果没有则返回 -1（需要区分大小写）.（从0开始计数）二，代码
2020-06-25 20:36:27
62
原创 左旋转字符串
一，问题汇编语言中有一种移位指令叫做循环左移（ROL），现在有个简单的任务，就是用字符串模拟这个指令的运算结果。对于一个给定的字符序列S，请你把其循环左移K位后的序列输出。例如，字符序列S=”abcXYZdef”,要求输出循环左移3位后的结果，即“XYZdefabc”。是不是很简单？OK，搞定它！二，代码...
2020-06-25 20:34:47
103
原创 翻转单词顺序列（python）
一，问题牛客最近来了一个新员工Fish，每天早晨总是会拿着一本英文杂志，写些句子在本子上。同事Cat对Fish写的内容颇感兴趣，有一天他向Fish借来翻看，但却读不懂它的意思。例如，“student. a am I”。后来才意识到，这家伙原来把句子单词的顺序翻转了，正确的句子应该是“I am a student.”。Cat对一一的翻转这些单词顺序可不在行，你能帮助他么？二，代码...
2020-06-25 20:33:10
290
原创 把字符串转化成整数（python）
一，题目描述将一个字符串转换成一个整数，要求不能使用字符串转换整数的库函数。 数值为0或者字符串不是一个合法的数值则返回0输入描述:输入一个字符串,包括数字字母符号,可以为空输出描述:如果是合法的数值表达则返回该数字，否则返回0示例1输入+21474836471a33输出21474836470二，代码...
2020-06-25 20:29:04
1379
原创 表示数值的字符串（python）
一，问题请实现一个函数用来判断字符串是否表示数值（包括整数和小数）。例如，字符串"+100",“5e2”,"-123",“3.1416"和”-1E-16"都表示数值。 但是"12e",“1a3.14”,“1.2.3”,"±5"和"12e+4.3"都不是。二，代码...
2020-06-25 20:26:43
206
原创 字符流中第一个不重复的字符（python）
一，问题请实现一个函数用来找出字符流中第一个只出现一次的字符。例如，当从字符流中只读出前两个字符"go"时，第一个只出现一次的字符是"g"。当从该字符流中读出前六个字符“google"时，第一个只出现一次的字符是"l"。如果当前字符流没有存在出现一次的字符，返回#字符二，代码...
2020-06-25 20:23:29
218
原创 二叉树的镜像（python）
一，问题操作给定的二叉树，将其变换为源二叉树的镜像。输入描述:二叉树的镜像定义：源二叉树8/ 6 10/ \ / 5 7 9 11镜像二叉树8/ 10 6/ \ / 11 9 7 5二，代码
2020-06-25 20:14:09
169
原创 二叉树中和为某一值的路径（python）
一，问题输入一颗二叉树的根节点和一个整数，按字典序打印出二叉树中结点值的和为输入整数的所有路径。路径定义为从树的根结点开始往下一直到叶结点所经过的结点形成一条路径。二，分析...
2020-06-25 20:13:43
377
1
原创 平衡二叉树（python）
一，问题输入一棵二叉树，判断该二叉树是否是平衡二叉树。在这里，我们只需要考虑其平衡性，不需要考虑其是不是排序二叉树二，代码
2020-06-25 20:13:30
100
原创 二叉搜索树的后续遍历（python）
一，问题输入一颗二叉树的根节点和一个整数，按字典序打印出二叉树中结点值的和为输入整数的所有路径。路径定义为从树的根结点开始往下一直到叶结点所经过的结点形成一条路径。二，分析举个栗子：有这么一个二叉搜索树他的后序遍历是：1，2，4，3，6，8，7，5可以看到，最后一位是根节点从6开始大于5的都是右子树，6左边的是左子树我们先找到第一个比跟结点大的数，然后根据这个数的分成左右子树再用递归来判断他的左右子树是不是二叉搜索树三，代码...
2020-06-25 19:37:12
186
原创 二叉树的深度（python）
一，问题输入一棵二叉树，求该树的深度。从根结点到叶结点依次经过的结点（含根、叶结点）形成树的一条路径，最长路径的长度为树的深度。二，分析三，代码
2020-06-25 19:09:02
374
原创 序列化二叉树（python）
一：问题：请实现两个函数，分别用来序列化和反序列化二叉树二叉树的序列化是指：把一棵二叉树按照某种遍历方式的结果以某种格式保存为字符串，从而使得内存中建立起来的二叉树可以持久保存。序列化可以基于先序、中序、后序、层序的二叉树遍历方式来进行修改，序列化的结果是一个字符串，序列化时通过 某种符号表示空节点（#），以 ！ 表示一个结点值的结束（value!）。二叉树的反序列化是指：根据某种遍历顺序得到的序列化字符串结果str，重构二叉树。例如，我们可以把一个只有根节点为1的二叉树序列化为"1,"，然后通过自
2020-06-25 18:54:33
269
原创 删除链表中重复的节点（python）
一，题目描述在一个排序的链表中，存在重复的结点，请删除该链表中重复的结点，重复的结点不保留，返回链表头指针。 例如，链表1->2->3->3->4->4->5 处理后为 1->2->5二，分析由于我是看别人的代码来理解过程，然后学习本题，所以过程分析也要结合代码来看。首先，我们做了个头节点叫result，并让头指针result.next指向头节点然后又做了两个指针，res和tmp，让他们分别指向头节点和链表首字母接下来比较tmp指向的值 和 tm
2020-06-23 14:42:38
833
原创 二叉搜索树与双向链表（python）
一，问题输入一棵二叉搜索树，将该二叉搜索树转换成一个排序的双向链表。要求不能创建任何新的结点，只能调整树中结点指针的指向。二，分析假设有这么一个搜索树：我们先找到根节点的左孩子的最右节点，让他与根节点建立双向联系再找到根节点的右孩子的最左节点，让他与根节点建立双向联系调用递归，搞定其他的字树输出的时候要找到最左的叶子节点三，代码...
2020-06-22 18:36:46
203
原创 和为s的连续正数序列（python）
一，问题小明很喜欢数学,有一天他在做数学作业时,要求计算出9~16的和,他马上就写出了正确答案是100。但是他并不满足于此,他在想究竟有多少种连续的正数序列的和为100(至少包括两个数)。没多久,他就得到另一组连续正数和为100的序列:18,19,20,21,22。现在把问题交给你,你能不能也很快的找出所有和为S的连续正数序列? Good Luck!二，分析给定的输入是一个连续的正数序列这就意味着最小的连续序列是两个数字构成比如3，4.比如6，7而连续的两个数字的和，不超过大数的两倍比如3+4
2020-06-21 20:03:49
565
原创 反转单词顺序列（python）
一，问题Fish每天早晨总是会拿着一本英文杂志，写些句子在本子上。同事Cat对Fish写的内容颇感兴趣，有一天他向Fish借来翻看，但却读不懂它的意思。例如，“student. a am I”。后来才意识到，这家伙原来把句子单词的顺序翻转了，正确的句子应该是“I am a student.”。Cat对一一的翻转这些单词顺序可不在行，你能帮助他么？二，分析从这道题中学到了几个函数的使用一是split（）函数第二个reverse（）函数第三个join（）函数第四个strip（）函数三
2020-06-21 14:11:48
609
原创 扑克牌顺子（python）
一，问题LL买了一副扑克牌,发现里面居然有2个大王,2个小王(一副牌原本是54张_)…他随机从中抽出了5张牌,想测测自己的手气,看看能不能抽到顺子,大\小 王可以看成任何数字,并且A看作1,J为11,Q为12,K为13。模拟上面的过程， 如果牌能组成顺子就输出true，否则就输出false。为了方便起见,你可以认为大小王是0。二，分析我们能抽到大小王的数量有 0 1 2 3 4 这五种可能0时，要求五张牌中，连续的两张的差值等于1因为我们抽到的牌只有5张，因此要构成顺子，最大牌和最小牌的差值不能
2020-06-21 13:29:52
964
原创 顺时针打印矩阵（python）
一，问题输入一个矩阵，按照从外向里以顺时针的顺序依次打印出每一个数字，例如，如果输入如下4 X 4矩阵： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 则依次打印出数字1,2,3,4,8,12,16,15,14,13,9,5,6,7,11,10.二，分析如题：...
2020-06-19 00:48:32
485
原创 矩形覆盖（python）
一，问题我们可以用2x1的小矩形横着或者竖着去覆盖更大的矩形。请问用n个2x1的小矩形无重叠地覆盖一个2*n的大矩形，总共有多少种方法？比如n=3时，2*3的矩形块有3种覆盖方法：二，思路对于n而言，能填满他的，只有两种，1或2举个栗子，当n=4时我们只看长n要填满n=4，需要5种填法1，1，1，11，1，22，21，2，12，1，1我们发现，这不就是青蛙跳台阶嘛也就是斐波那契数列三，上代码：这么写也是可以的，无非一个倒着遍历，一个正着遍历而已...
2020-06-18 14:48:44
207
原创 变态跳台阶（python）
一，问题一只青蛙一次可以跳上1级台阶，也可以跳上2级……它也可以跳上n级。求该青蛙跳上一个n级的台阶总共有多少种跳法。二，分析n=1时，青蛙有一种跳法n=2时，青蛙有两种跳法从n>=3时就和正常青蛙不一样了变成了变态跳法正常青蛙能跳的，变态青蛙也能跳正常青蛙不能跳的，变态青蛙也能跳n=3时正常青蛙是f（3）=f（3-1）+f（3-2）变态青蛙多了个能力叫一步到位即f（3）=f（3-1）+f（3-2）+f（3-3）…f(n) = f(n-1) + f(n-2) + f(n-3
2020-06-18 13:58:27
187
原创 青蛙跳台阶（python）
一，问题：一只青蛙一次可以跳上1级台阶，也可以跳上2级。求该青蛙跳上一个n级的台阶总共有多少种跳法（先后次序不同算不同的结果）。二，分析n=0时，没得跳，返回0n=1时，就一种跳法，返回1n=2时，可以一步一步跳上去，也可以一下跳上去，返回2n=3时，a，一步一步跳上去b，先1后2跳上去c，先2后1跳上去，返回3n=4时，a，一步一步跳上去b，先1后2再1跳上去c，先1后1再2跳上去d，先2后1再1跳上去e，先2再2跳上去返回5。。。青蛙在刚开始跳时，只有两种选择，跳一步
2020-06-18 13:32:19
1089
原创 二维数组中的查找（python）
一，问题在一个二维数组中（每个一维数组的长度相同），每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。二，分析这道题涉及到python中的二维数组创建一个二维数组并分别测量他们的行数和列数例如：注意，在python中，不可以这样创建二维数组：这样创建出的只是一个【0】*3的数组，浅拷贝 了四次。这里详细可以看 http://liamchzh.0fees.net/?p=234&i=1
2020-06-18 12:19:30
385
原创 替换空格（python）
一，问题：二，分析这道题用了append函数ArrayList=[ ]ArrayList=[1 ]ArrayList=[ 1，2]ArrayList=[ 1，2，3]三，代码：
2020-06-18 11:38:51
133
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人