Smiling_lzy的博客

解释：“pro” 是 “problem” 的前缀，而 “problem” 是句子中第 2 个也是第 6 个单词，但是应该返回最小下标 2。找出那个只出现了一次的元素。之后，你的输出需要从左往右逐行读取，产生出一个新的字符串，比如：“PAHNAPLSIIGYIR”。解释：“burg” 是 “burger” 的前缀，而 “burger” 是句子中第 4 个单词。解释：合并数组 = [1,2,3,4] ，中位数 (2 + 3) / 2 = 2.5。输入：l1 = [1,2,4], l2 = [1,3,4]

df.set_index([“a”,“b”])#把某几列作为索引。df.set_index(“a”)#把某一列作为索引。

算法

实时数仓

matplotlib

LeetCode_02

算法一1.两数之和（简单）2. 回文数（简单）3. 最长特殊序列 Ⅰ（简单）4. 两数相加（中等）5. 整数反转（中等）1.两数之和（简单）题目给定一个整数数组 nums 和一个整数目标值 target，请你在该数组中找出 和为目标值 target 的那 两个 整数，并返回它们的数组下标。你可以假设每种输入只会对应一个答案。但是，数组中同一个元素在答案里不能重复出现。你可以按任意顺序返回答案。示例 1：输入：nums = [2,7,11,15], target = 9输出：[0,1]解

SparkStreaming一、SparkStreaming 概述二、Dstream 入门1、WordCount 案例实操三、DStream 创建1、RDD 队列2、自定义数据源3、Kafka 数据源四、DStream 转换1、无状态转化操作1.1、Transform1.2、 join2、有状态转化操作2.1、 UpdateStateByKey2.2、WindowOperations五、DStream 输出六、优雅关闭七、SparkStreaming 案例实操1、需求一：广告黑名单2、需求二：广告点击量实时

SparkSql一、Spark SQL概述1、什么是 Spark SQL2、Spark SQL 的特点3、DataFrame4、DataSet二、Spark SQL 编程1、SparkSession2、使用 DataFrame 进行编程2.1、创建 DataFrame2.2、SQL 语法一、Spark SQL概述1、什么是 Spark SQLSpark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块.与基本的 Spark RDD API 不同, S

spark内核与源码一、环境准备(Yarn集群)二、组件通信三、应用程序的执行1、RDD依赖2、阶段划分3、任务切分4、任务的调度5、任务执行四、Shuffle1、Shuffle 的原理和执行过程2、Shuffle 写磁盘3、Shuffle 读取磁盘五、内存的管理1、内存的分类2、内存的配置一、环境准备(Yarn集群)bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master yarn \--deploy-mode c

这里写目录标题一、累加器1、实现原理2、基础编程2.1、系统累加器2.2、自定义累加器二、广播变量1、实现原理2、基础编程三、Spark 案例实操1、需求 1：Top10 热门品类1.1、需求说明1.2、实现方案一1.3、实现方案二1.4、实现方案三2、需求 2：Top10 热门品类中每个品类的 Top10 活跃 Session 统计2.1、需求说明3、需求 3：页面单跳转换率统计3.1、需求说明3.2、功能实现一、累加器1、实现原理累加器用来把 Executor 端变量信息聚合到 Driver 端

spark（五）一、RDD的序列化1、闭包检查2、序列化方法和属性二、RDD 依赖关系1、RDD 血缘关系2、RDD 依赖关系3、RDD 窄依赖4、RDD 宽依赖5、RDD 阶段划分6、RDD 阶段划分源码7、RDD 任务划分8、RDD 任务划分源码三、 RDD 持久化1、RDD Cache 缓存2、RDD CheckPoint 检查点3、缓存和检查点区别4、RDD 分区器一、RDD的序列化1、闭包检查从计算的角度, 算子以外的代码都是在 Driver 端执行, 算子里面的代码都是在 Executo

spark（四）一、RDD转换算子1、单Value类型1.1、repartition1.2、sortBy2、双 Value 类型2.1、intersection2.2、union2.3、subtract2.4、zip3、Key - Value 类型3.1、partitionBy3.2、reduceByKey3.3、groupByKey3.4、aggregateByKey3.5、foldByKey3.6、combineByKey3.7、sortByKey3.8、join3.9、leftOuterJoin3.1

spark（三）一、RDD的 Action 操作1、reduce(func)2、collect3、count()4、take(n)5、first6、takeOrdered(n, [ordering])7、aggregate8、 fold9、 saveAsTextFile(path)10、saveAsSequenceFile(path)11、saveAsObjectFile(path)12、countByKey()13、foreach(func)一、RDD的 Action 操作1、reduce(func)

图结构一、基本介绍1、定义2、表示方法2.1、邻接矩阵2.2、邻接表二、图的创建三、图的遍历1、深度优先遍历2、广度优先遍历（BFS）一、基本介绍1、定义当我们需要表示多对多的关系时，我们就需要图图是一种数据结构，其中结点可以具有零个或多个相邻元素。两个结点之间的连接称为边。结点也可以称为顶点2、表示方法2.1、邻接矩阵邻接矩阵是表示图形中顶点之间相邻关系的矩阵，对于n个顶点的图而言，矩阵是的row和 col表示的是1…n个点如上图的邻接矩阵就是0 1 0 0 1 1 0 1

哈希表散列表（Hash table，也叫哈希表），是根据关键码值(Key value)而直接进行访问的数据结构。也就是说，它通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。这个映射函数叫做散列函数，存放记录的数组叫做散列表。哈希表是一种将数组与链表相结合的数据结构package com.atguigu.hashtab;import java.util.Scanner;public class HashTabDemo { public static void main(St

查找一、线性查找二、二分查找三、插值查找四、斐波那契查找算法一、线性查找线性查找是一种非常简单的查找方式。查找思路是：从数组的一个元素出发，一个个地和要查找的值进行比较，如果发现有相同的元素就返回该元素的下标。反之返回-1（未找到）package com.atguigu.search;public class SeqSearch { public static void main(String[] args) { int arr[] = { 1, 9, 11, -1, 34, 89 }

排序算法 一、排序算法分类二、冒泡排序三、选择排序四、插入排序五、希尔排序六、快速排序七、归并排序八、基数排序一、排序算法分类二、冒泡排序题目：将五个无序的数：3，9，-1，10，-2 使用冒泡排序法将其排成从小到大的有序数列package com.atguigu.sort;import java.text.SimpleDateFormat;import java.util.Arrays;import java.util.Date;public class BubbleSor

Spark（二）一、一、

递归一级目录一级目录