claww-CSDN博客

原创 Spark的两种UDF定义

object UdfTest { def main(args: Array[String]): Unit = { val session: SparkSession = SparkSession.builder().master("local") .appName("UdfTest") .getOrCreate() import session.implicits._ val df: DataFrame = Seq(("liutian",1),.

2021-06-02 00:17:17 118

原创 Spark的saveAsHadoopFile自定义文件名

class PairRDDMultipleTextOutputFormat extends MultipleTextOutputFormat[Any, Any] { //1)文件名：根据key和value自定义输出文件名。 name：对应的part-0001文件名 override def generateFileNameForKeyValue(key: Any, value: Any, name: String): String ={ val fileName=key.as...

2021-05-30 19:00:35 963 1

原创 MapReduce拾遗

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么？二、使用步骤 1.引入库 2.读入数据总结前言MapReduce是一种经典的分布式数据处理方法，最近回头再看的时候有一些小知识点将在本文记录整理。一、MapReduce原理拾遗split和block不是对应关系，前者逻辑概念，后者物理概念，默认情况下相等，为了解耦出现，可以灵活适应cpu密集型和IO密集型计算。split和ma...

2020-09-20 23:35:09 128

原创 leetcode之路 14. 最长公共前缀

问题编写一个函数来查找字符串数组中的最长公共前缀。如果不存在公共前缀，返回空字符串 ""。示例 1:输入: ["flower","flow","flight"]输出: "fl"示例 2:输入: ["dog","racecar","car"]输出: ""解释: 输入不存在公共前缀。说明:

2018-12-12 23:51:45 114

原创 leetcode之路 13. Roman to Integer

今天的Leetcode中国网站抽风刷不出了(- -!)跑回Leetcode主站看了题目问题Roman numerals are represented by seven different symbols: I, V, X, L, C, D and M.Symbol ValueI 1V 5X ...

2018-12-11 22:41:43 72

原创 leetcode之路 12. 整数转罗马数字

问题罗马数字包含以下七种字符： I， V， X， L，C，D 和 M。字符数值I 1V 5X 10L 50C 100D 500M 1000例如，罗马数字 2 写做 II ，即为两个...

2018-12-10 22:45:15 80

原创 leetcode之路 11. 盛最多水的容器

问题给定 n 个非负整数 a1，a2，...，an，每个数代表坐标中的一个点 (i, ai) 。在坐标内画 n 条垂直线，垂直线 i 的两个端点分别为 (i, ai) 和 (i, 0)。找出其中的两条线，使得它们与 x 轴共同构成的容器可以容纳最多的水。说明：你不能倾斜容器，且 n 的值至少为 2。图中垂直线代表输入数组 [1,8,6,2,5,4,8,3,7]。在此情况下，容器能...

2018-12-09 23:22:54 316

原创 leetcode之路 9. 回文数

问题判断一个整数是否是回文数。回文数是指正序（从左向右）和倒序（从右向左）读都是一样的整数。示例 1:输入: 121输出: true示例 2:输入: -121输出: false解释: 从左向右读, 为 -121 。从右向左读, 为 121- 。因此它不是一个回文数。示例 3:输入: 10输出: false解释: 从右向左读, 为 01 。因此它不...

2018-12-09 23:16:26 162

原创 leetcode之路 8. 字符串转换整数 (atoi)

问题请你来实现一个 atoi 函数，使其能将字符串转换成整数。首先，该函数会根据需要丢弃无用的开头空格字符，直到寻找到第一个非空格的字符为止。当我们寻找到的第一个非空字符为正或者负号时，则将该符号与之后面尽可能多的连续数字组合起来，作为该整数的正负号；假如第一个非空字符是数字，则直接将其与之后连续的数字字符组合起来，形成整数。该字符串除了有效的整数部分之后也可能会存在多余的字符，...

2018-12-09 01:00:30 87

原创 leetcode之路 6. Z 字形变换

问题将一个给定字符串根据给定的行数，以从上往下、从左到右进行 Z 字形排列。比如输入字符串为 "LEETCODEISHIRING" 行数为 3 时，排列如下：L C I RE T O E S I I GE D H N之后，你的输出需要从左往右逐行读取，产生出一个新的字符串，比如："LCIRETOESIIGEDHN"。请你实现这个将字符串进行指定...

2018-12-06 21:22:48 166

原创 leetcode之路 5. 最长回文子串

问题给定一个字符串 s，找到 s 中最长的回文子串。你可以假设 s 的最大长度为 1000。示例 1：输入: "babad"输出: "bab"注意: "aba" 也是一个有效答案。示例 2：输入: "cbbd"输出: "bb"解答思路一：暴力破解，找到所有字符串，判断是否是回文，略思路二：遍历每个字符，查看以它为中心的回文字符串最大长度。注：最大...

2018-12-05 23:31:15 101

原创 leetcode之路 3. 无重复字符的最长子串

问题给定一个字符串，请你找出其中不含有重复字符的最长子串的长度。示例 1:输入: "abcabcbb"输出: 3 解释: 因为无重复字符的最长子串是 "abc"，所以其长度为 3。示例 2:输入: "bbbbb"输出: 1解释: 因为无重复字符的最长子串是 "b"，所以其长度为 1。示例 3:输入: "pwwkew"输出: 3解释: 因为无重...

2018-12-05 00:13:04 88

原创 leetcode之路 2.两数相加

问题给出两个非空的链表用来表示两个非负的整数。其中，它们各自的位数是按照逆序的方式存储的，并且它们的每个节点只能存储一位数字。如果，我们将这两个数相加起来，则会返回一个新的链表来表示它们的和。您可以假设除了数字 0 之外，这两个数都不会以 0 开头。示例：输入：(2 -> 4 -> 3) + (5 -> 6 -> 4)输出：7 -&gt...

2018-12-04 23:10:04 73

原创 leetcode之路 1. 两数之和

问题给定一个整数数组 nums 和一个目标值 target，请你在该数组中找出和为目标值的两个整数。你可以假设每种输入只会对应一个答案。但是，你不能重复利用这个数组中同样的元素。示例:给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1]解答思路一：暴力破...

2018-12-04 22:48:04 93

claww的博客