- 博客(56)
- 收藏
- 关注
RSS订阅原创 LeetCode_03
解释：“pro” 是 “problem” 的前缀，而 “problem” 是句子中第 2 个也是第 6 个单词，但是应该返回最小下标 2。找出那个只出现了一次的元素。之后，你的输出需要从左往右逐行读取，产生出一个新的字符串，比如：“PAHNAPLSIIGYIR”。解释：“burg” 是 “burger” 的前缀，而 “burger” 是句子中第 4 个单词。解释：合并数组 = [1,2,3,4] ，中位数 (2 + 3) / 2 = 2.5。输入：l1 = [1,2,4], l2 = [1,3,4]
2022-08-21 23:23:30
279
1
原创 LeetCode_01
算法一1.两数之和（简单）2. 回文数（简单）3. 最长特殊序列 Ⅰ（简单）4. 两数相加（中等）5. 整数反转（中等）1.两数之和（简单）题目给定一个整数数组 nums 和一个整数目标值 target，请你在该数组中找出 和为目标值 target 的那 两个 整数，并返回它们的数组下标。你可以假设每种输入只会对应一个答案。但是，数组中同一个元素在答案里不能重复出现。你可以按任意顺序返回答案。示例 1：输入：nums = [2,7,11,15], target = 9输出：[0,1]解
2022-03-06 19:23:25
99
原创 SparkStreaming
SparkStreaming一、SparkStreaming 概述二、Dstream 入门1、WordCount 案例实操三、DStream 创建1、RDD 队列2、自定义数据源3、Kafka 数据源四、DStream 转换1、无状态转化操作1.1、Transform1.2、 join2、有状态转化操作2.1、 UpdateStateByKey2.2、WindowOperations五、DStream 输出六、优雅关闭七、SparkStreaming 案例实操1、需求一：广告黑名单2、需求二：广告点击量实时
2022-01-05 19:49:45
2051
原创 SparkSql
SparkSql一、Spark SQL概述1、什么是 Spark SQL2、Spark SQL 的特点3、DataFrame4、DataSet二、Spark SQL 编程1、SparkSession2、使用 DataFrame 进行编程2.1、创建 DataFrame2.2、SQL 语法一、Spark SQL概述1、什么是 Spark SQLSpark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块.与基本的 Spark RDD API 不同, S
2021-12-19 17:16:08
1138
原创 spark内核与源码
spark内核与源码一、环境准备(Yarn集群)二、组件通信三、应用程序的执行1、RDD依赖2、阶段划分3、任务切分4、任务的调度5、任务执行四、Shuffle1、Shuffle 的原理和执行过程2、Shuffle 写磁盘3、Shuffle 读取磁盘五、内存的管理1、内存的分类2、内存的配置一、环境准备(Yarn集群)bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master yarn \--deploy-mode c
2021-12-19 16:59:28
661
原创 spark
这里写目录标题一、累加器1、实现原理2、基础编程2.1、系统累加器2.2、自定义累加器二、广播变量1、实现原理2、基础编程三、Spark 案例实操1、需求 1：Top10 热门品类1.1、需求说明1.2、实现方案一1.3、实现方案二1.4、实现方案三2、需求 2：Top10 热门品类中每个品类的 Top10 活跃 Session 统计2.1、需求说明3、需求 3：页面单跳转换率统计3.1、需求说明3.2、功能实现一、累加器1、实现原理累加器用来把 Executor 端变量信息聚合到 Driver 端
2021-12-05 12:50:30
648
原创 spark（五）
spark（五）一、RDD的序列化1、闭包检查2、序列化方法和属性二、RDD 依赖关系1、RDD 血缘关系2、RDD 依赖关系3、RDD 窄依赖4、RDD 宽依赖5、RDD 阶段划分6、RDD 阶段划分源码7、RDD 任务划分8、RDD 任务划分源码三、 RDD 持久化1、RDD Cache 缓存2、RDD CheckPoint 检查点3、缓存和检查点区别4、RDD 分区器一、RDD的序列化1、闭包检查从计算的角度, 算子以外的代码都是在 Driver 端执行, 算子里面的代码都是在 Executo
2021-11-28 19:59:50
1398
原创 spark（四）
spark（四）一、RDD转换算子1、单Value类型1.1、repartition1.2、sortBy2、双 Value 类型2.1、intersection2.2、union2.3、subtract2.4、zip3、Key - Value 类型3.1、partitionBy3.2、reduceByKey3.3、groupByKey3.4、aggregateByKey3.5、foldByKey3.6、combineByKey3.7、sortByKey3.8、join3.9、leftOuterJoin3.1
2021-11-21 14:54:00
1934
原创 spark（三）
spark（三）一、RDD的 Action 操作1、reduce(func)2、collect3、count()4、take(n)5、first6、takeOrdered(n, [ordering])7、aggregate8、 fold9、 saveAsTextFile(path)10、saveAsSequenceFile(path)11、saveAsObjectFile(path)12、countByKey()13、foreach(func)一、RDD的 Action 操作1、reduce(func)
2021-11-14 22:30:27
1360
原创 图结构~~
图结构一、基本介绍1、定义2、表示方法2.1、邻接矩阵2.2、邻接表二、图的创建三、图的遍历1、深度优先遍历2、广度优先遍历（BFS）一、基本介绍1、定义当我们需要表示多对多的关系时，我们就需要图图是一种数据结构，其中结点可以具有零个或多个相邻元素。两个结点之间的连接称为边。结点也可以称为顶点2、表示方法2.1、邻接矩阵邻接矩阵是表示图形中顶点之间相邻关系的矩阵，对于n个顶点的图而言，矩阵是的row和 col表示的是1…n个点如上图的邻接矩阵就是0 1 0 0 1 1 0 1
2021-11-14 15:14:22
316
原创 哈希表~~
哈希表散列表（Hash table，也叫哈希表），是根据关键码值(Key value)而直接进行访问的数据结构。也就是说，它通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。这个映射函数叫做散列函数，存放记录的数组叫做散列表。哈希表是一种将数组与链表相结合的数据结构package com.atguigu.hashtab;import java.util.Scanner;public class HashTabDemo { public static void main(St
2021-11-07 14:32:51
98
原创 三种查找算法
查找一、线性查找二、二分查找三、插值查找四、斐波那契查找算法一、线性查找线性查找是一种非常简单的查找方式。查找思路是：从数组的一个元素出发，一个个地和要查找的值进行比较，如果发现有相同的元素就返回该元素的下标。反之返回-1（未找到）package com.atguigu.search;public class SeqSearch { public static void main(String[] args) { int arr[] = { 1, 9, 11, -1, 34, 89 }
2021-11-07 14:28:27
625
原创 排序算法
排序算法 一、排序算法分类二、冒泡排序三、选择排序四、插入排序五、希尔排序六、快速排序七、归并排序八、基数排序一、排序算法分类二、冒泡排序题目：将五个无序的数：3，9，-1，10，-2 使用冒泡排序法将其排成从小到大的有序数列package com.atguigu.sort;import java.text.SimpleDateFormat;import java.util.Arrays;import java.util.Date;public class BubbleSor
2021-10-24 15:37:21
130
原创 Spark（一）
Spark（一）一、 Spark 概述1、Spark 是什么2、Spark and Hadoop3、Spark 核心模块二、Spark 快速上手1、创建 Maven 项目1.1、增加依赖关系1.2、WordCount三、Spark 运行环境1、Local 模式1.1、解压缩文件1.2、启动 Local 环境一、 Spark 概述1、Spark 是什么Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。2、Spark and HadoopHadoop：Hadoop 是由 ja
2021-09-26 17:02:13
165
原创 稀疏数组和队列
数据结构和算法一、稀疏数组和队列1、稀疏数组1.1、基本功能1.2、处理方法1.3、转换思路2、队列2.1、定义2.2、模拟思路~1、入队出队操作模拟~2、实现代码2.3、环形队列~1、代码二、链表1、单向链表1.1、链表的介绍1.2、实现思路一、稀疏数组和队列1、稀疏数组1.1、基本功能当一个数组中大部分元素为０，或者为同一个值的数组时，可以使用稀疏数组来保存该数组1.2、处理方法记录数组一共有几行几列，有多少个不同的值把具有不同值的元素的行列及值记录在一个小规模的数组中，从而缩小程序的规
2021-09-26 16:43:10
212
原创 Redis6
Redis6一、NoSql数据库简介1、NoSQL数据库2、NoSQL适用、不适用场景二、Redis6概述和安装1、Redis6概述2、Redis6安装三、常用五大数据类型四、Redis6配置文件介绍五、Redis6的发布和订阅六、Redis6新数据类型七、Redis_Jedis_测试八、Redis_Jedis_实例九、Redis与Spring Boot整合十、Redis_事务_锁机制_秒杀十一、Redis_事务_秒杀案例十二、Redis持久化之RDB十三、Redis持久化之AOF十四、Redis_主从复制
2021-09-19 15:18:18
1841
原创 MySQL 高级
MySQL 高级一、mysql 的架构介绍1、高级MySQL2、MysqlLinux 版的安装3、Mysql 配置文件二、索引优化分析三、查询截取分析1、查询优化2、慢查询日志3、批量数据脚本4、Show Profile5、全局查询日志四、MySQL锁机制1、概述2、三锁2.1、表锁（偏读）2.2、行锁（偏写）2.3、页锁五、主从复制1、一、mysql 的架构介绍1、高级MySQLmysql 内核sql 优化工程师mysql 服务器的优化各种参数常量的设定查询语句优化主从复制软硬件升级
2021-09-12 13:57:13
250
原创 MySQL
Mysql一、为什么要学习数据库二、数据库的相关概念三、数据库存储数据的特点四、初始MySQL1、MySQL服务的启动和停止2、MySQL服务的登录和退出3、MySQL的常见命令4、MySQL语法规范5、SQL的语言分类6、SQL的常见命令五、DQL语言1、基础查询2、条件查询3、排序查询4、常见函数4.1、单行函数~1、字符函数~1.1、concat拼接~1.2、substr截取子串~1.3、upper转换成大写~1.4、lower转换成小写~1.5、trim去前后指定的空格和字符~1.6、ltrim去左
2021-09-04 23:20:33
1989
原创 Elasticsearch（一）
Elasticsearch（一）一、Elasticsearch 概述1、Elasticsearch 是什么2、全文搜索引擎3、Elasticsearch 应用案例二、Elasticsearch 入门1、Elasticsearch 安装1.1、下载软件1.2、安装软件一、Elasticsearch 概述1、Elasticsearch 是什么The Elastic Stack, 包括 Elasticsearch、Kibana、Beats 和 Logstash（也称为 ELK Stack）。能够安全可靠地
2021-08-29 11:13:21
106
原创 springboot（三）
springboot（三）一、Docker1、简介2、核心概念3、安装Docker3.1、安装linux虚拟机3.2、在linux虚拟机上安装docker4、Docker常用命令&操作4.1、镜像操作4.2、容器操作4.3、安装MySQL示例二、SpringBoot与数据访问1、JDBC2、整合Druid数据源3、整合MyBatis3.1、注解版3.2、配置文件版4、整合SpringData JPA4.1、SpringData简介4.2、整合SpringData JPA三、启动配置原理1、创建Spr
2021-08-29 11:00:24
195
原创 springboot（二）
springboot（二）一、日志1、日志框架2、SLF4j使用2.1、如何在系统中使用SLF4j2.2、遗留问题3、SpringBoot日志关系4、日志使用4.1、默认配置4.2、指定配置5、切换日志框架二、Web开发1、简介2、SpringBoot对静态资源的映射规则3、模板引擎3.1、引入thymeleaf3.2、Thymeleaf使用3.3、语法规则4、SpringMVC自动配置4.1、Spring MVC auto-configuration4.2、扩展SpringMVC一、日志1、日志框架
2021-08-22 12:23:17
585
原创 离线数仓（三）
离线数仓1、kafka Manager 的使用1、kafka Manager 的使用运行 kafka-manager[atguigu@hadoop103 kafka-manager-1.3.3.15]$ bin/kafka-manager[atguigu@hadoop103 kafka-manager-1.3.3.15]$ bin/kafka-manager > start.log 2>&1 & （后台运行）从第一个中会显示端口号 （9000）于网站中打开 hado
2021-07-18 07:24:08
552
原创 离线数仓（二）
离线数仓1、安装JDK2、1、安装JDK（1）卸载JDK①查询查询是否安装Java软件：[atguigu@hadoop101 opt]$ rpm -qa | grep java②如果安装的版本低于1.7，就卸载该JDK[atguigu@hadoop101 opt]$ sudo rpm -e 软件包③查看JDK安装路径[atguigu@hadoop101 ~]$ which java（2）再Linux系统下的 opt 目录中查看软件包是否导入成功[atguigu@hadoop101 op
2021-07-12 15:44:02
814
原创 离线数仓（一）
离线数仓1、数据仓库概念2、项目需求及架构设计~项目需求分析~项目框架~~技术选型~~系统数据流程设计~~框架版本选型~~集群资源规划设计3、数据生成模块~埋点数据基本格式~事件日志数据~~商品列表页（loading）~~商品点击(display)~~商品详情页(newsdetail)~~广告(ad)~~消息通知(notification)~~用户前台活跃(active_foreground)~~用户后台活跃(active_background)~~评论（comment）~~收藏（favorites）~~点
2021-07-04 12:17:13
1194
原创 Linux
Linux1、文件与目录结构~Linux 文件~Linux 目录结构1、文件与目录结构~Linux 文件Linux 系统中一切皆文件~Linux 目录结构#mermaid-svg-GylpsrgYak9mPQYY .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-GylpsrgYak9mPQYY .l
2021-05-19 21:04:55
1757
原创 Scala 泛型
Scala 泛型1、泛型类和泛型函数2、泛型界定~泛型上限~泛型下限1、泛型类和泛型函数泛型类：定义类的时候，定义泛型，这个泛型就可以在类的任何地方使用泛型函数：定义函数的时候定义泛型，这个泛型只能在函数的内部使用object Generic1 { def main(args: Array[String]): Unit = { val p1 = new Point[Int](10,20) val x = p1.x val p2 = new Point[Double]
2021-05-16 15:29:06
256
原创 Scala 中异常的处理
Scala 中异常的处理1、java2、scala3、 如何处理异常：1、java运行时异常，可以不用提前处理，将来运行时候可能抛异常受检异常(checked) 在编译阶段，异常必须被处理，try、抛出异常类型 throws 异常类2、scala不强制要求必须处理异常3、 如何处理异常：1.抛出异常 (throws)2.try3.抛出异常对象 (throw new )object ExceptionDemo1 { def main(args: Array[String])
2021-05-16 14:55:21
244
原创 Scala 偏函数
Scala 偏函数偏函数使用的地方很多，但是大部分情况都是把他当成一个普通函数来使用object Pattern2 { def main(args: Array[String]): Unit = { val list = List(10,20,1,"aa",false) val f = new PartialFunction[Any,Int] { //只对返回值是true的那些元素处理，是false的跳过 override def isDefinedAt
2021-05-16 14:33:23
297
原创 Scala 模式匹配
Scala 模式匹配1、基本使用2、匹配变量3、模式匹配的值4、守卫和匹配类型5、匹配数组6、元组匹配7、List匹配8、Option的使用9、模式匹配中的对象匹配10、匹配序列一级目录1、基本使用函数编程语言的标配有点类似 java 的 switch要匹配的值 match{ case 选项 => 代码 &nb
2021-05-16 01:05:13
195
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人