爱敲代码的小黑-CSDN博客

原创 spark常见面试题

首先会为最后一个 RDD 创建一个 Stage，然后继续倒推，如果发现对某个 RDD 是宽依赖，那么就会将宽依赖的那个 RDD 创建一个新的 Stage，那个 RDD 就是新的 Stage的最后一个 RDD。Spark streaming 内部的基本工作原理是：接受实时输入数据流，然后将数据拆分成 batch，比如每收集一秒的数据封装成一个 batch，然后将每个 batch 交给 spark 的计算引擎进行处理，最后会生产处一个结果数据流，其中的数据也是一个一个的 batch 组成的。

2024-06-18 17:38:20 1237

原创 hadoop常见简单基础面试题

inputFile 通过 split 被切割为多个 split 文件，通过 Record 按行读取内容给map（自己写的处理逻辑的方法），数据被 map 处理完之后交给 OutputCollect收集器，对其结果key进行分区（默认使用的hashPartitioner），然后写入buffer，

2024-06-18 10:07:01 890

原创 Hive常见面试题

hive常见问题

2023-06-14 18:35:22 182

原创 Mysql常见面试题

MySQL的分页语法：在MySQL中，SELECT语句默认返回所有匹配的行，它们可能是指定表中的每个行。为了返回第一行或前几行，可使用LIMIT子句，实现分页查询。– 在所有的查询结果中，返回前5行记录。– 在所有的查询结果中，从第5行开始，返回5行记录。总之，带一个值的LIMIT总是从第一行开始，给出的数为返回的行数。带两个值的LIMIT可以指定从行号为第一个值的位置开始。

2022-11-15 15:45:00 1481 1

原创 JVM常见题

JVM 主要由四大部分组成：ClassLoader（类加载器），Runtime Data Area（运行时数据区，内存分区），Execution Engine（执行引擎），Native Interface（本地库接口），下图可以大致描述 JVM 的结构。运行时数据区又分为堆、虚拟机栈、本地方法栈、程序计数器，还有方法区，初始化的对象放在堆里面，引用放在栈里面，class 类信息常量池（static 静态常量和 static 静态变量），编译的代码等放在方法区。有时候也成为永久代。

2022-11-10 16:13:58 796

原创 hive 分区表添加字段

修改表结构后，向新增分区插入数据没有问题，向已经存在分区添加数据，新增的字段一直为null。修改分区表结构后，表相关元数据会更改，而分区相关元数据不会更改。hive 分区表添加字段（必须加cascade）添加字段时末尾加关键字：cascade。

2022-10-09 16:50:39 2717

原创大数据开发面试知识点复习3

文章目录大数据开发复习课程10、scala10.1、scala介绍10.2、scala解释器10.3、scala的基本语法10.3.1、声明变量10.3.2、字符串10.3.3、数据类型10.3.3.1、scala类型层次结构10.3.4、表达式10.3.4.1、条件表达式10.3.4.2、块表达式10.3.5、循环10.3.5、for循环10.3.5.1、嵌套for循环10.3.5、while循环10.3.6、方法10.3.6.1、方法参数10.3.7、函数10.4、数据结构10.4.1、数组10.4.1

2022-04-27 15:43:49 1350

原创大数据开发面试知识点复习2

文章目录大数据开发复习课程1、Hadoop1.1、介绍Hadoop1.2、Hadoop特性优点1.3、hadoop集群中hadoop都需要启动哪些进程，他们的作用分别是什么？1.4、Hadoop主要的配置文件1.5、Hadoop集群重要命令1.6、HDFS的垃圾桶机制1.7、HDFS写数据流程1.8、Hadoop读数据流程1.9、SecondaryNameNode的作用1.10、HDFS的扩容、缩容（面试）1．动态扩容1.1．基础准备1.2．添加datanode1.3．datanode负载均衡服务1.4

2022-04-26 20:40:58 834

原创大数据开发面试知识点复习1

文章目录大数据开发复习课程课程目标1、大数据开发复习2、面试流程2.1、面试准备2.2、准备简历2.3、投递简历2.4、面试2.5、入职3、基础复习3.1、idea3.11、idea常用快捷键3.12、idea常见问题3.2、Java3.2.1、Java中的基本数据类型3.2.1.1、整形3.2.1.2、浮点型3.2.1.3、字符型3.2.1.4、布尔型3.2.2、String、Stringbulider、StringBuffer3.2.3、ArrayList、LinkedList、Vector3.2.4、

2022-04-25 15:24:46 470

原创 ETL&数据仓库复习

文章目录ETL1.1、岗位所需技能点数据分析师2.1、岗位所需技能点数据仓库3.1、岗位所需技能点1、数据仓库1.1、数据仓库与数据库区别1.2、数据仓库分层架构1.3 、为什么要分层1.4、维度数据模型1.4.1、简介1.4.2 维度数据模型的特点1.4.3 事实和维度1.4.4 维度数据模型建模过程(Kimball)1.4.4.1 选择业务流程1.4.4.2 声明粒度1.4.4.3 维度建模过程 - 确认维度1.4.4.4 维度建模过程 - 确认事实1.4.5 维度规范化1.4.6 星型模型1.4.

2022-04-23 20:44:13 1894

原创 scala学习复习笔记超详细（递归编程练习）

文章目录Scala递归编程练习1. 编程范式2. 应用实例实例一实例二实例三实例四实例五3. 测试代码☆Scala递归编程练习Scala 是运行在 Java 虚拟机（Java Virtual Machine）之上，因此具有如下特点：轻松实现和丰富的 Java 类库互联互通。它既支持面向对象的编程方式，又支持函数式编程。它写出的程序像动态语言一样简洁，但事实上它确是严格意义上的静态语言。Scala 就像一位武林中的集大成者，将过去几十年计算机语言发展历史中的精萃集于一身，化繁为简，为程序员们提

2022-04-17 22:02:54 339 1

原创 scala学习复习笔记超详细（项目-客户信息管理系统）

文章目录Scala项目-客户信息管理系统1. 项目开发流程2. 项目需求分析3. 项目界面主界面添加客户界面修改客户界面删除客户界面查询客户界面4. 项目框架图5. 项目功能实现数据层Customer业务逻辑层CustomerService☆界面层CustomerView程序入口CustomerMain☆Scala项目-客户信息管理系统1. 项目开发流程2. 项目需求分析模拟实现基于文本界面的《客户信息管理系统》。该系统Scala能够实现对客户对象的插入、修改和删除、显示，查询（用Array

2022-04-16 20:23:10 1795 2

原创 AB39 [NOIP2001]装箱问题

文章目录AB39 [NOIP2001]装箱问题AB39 [NOIP2001]装箱问题描述有一个箱子容量为V（正整数，0 ≤ V ≤ 20000），同时有n个物品（0＜n ≤ 30），每个物品有一个体积（正整数）。要求n个物品中，任取若干个装入箱内，使箱子的剩余空间为最小。输入描述：1个整数，表示箱子容量1个整数，表示有n个物品接下来n行，分别表示这n个物品的各自体积输出描述：1个整数，表示箱子剩余空间。示例1输入：2468312797复制输出：0代码

2022-04-15 13:07:45 597

原创 Spark学习复习（6.案例实操）

文章目录Spark案例实操1. 案例描述2. 需求一2.1 实现方案一2.2 实现方式二2.3 实现方式三2.4 实现方式四3. 需求二4. 需求三3.1 需求说明3.2 图解分析3.3 实现方式5. 工程化MVC三层架构三层架构WordCountApplicationWordCountControllerWordCountServiceWordCountDaocommonTApplicationTControllerTServiceTDaoThreadLocal的妙用-EnvUtil☆Spark案例实操

2022-04-15 08:11:48 737

原创 Spark学习复习（5.核心编程）

文章目录Spark核心编程1. RDDRDD与IO一、IO二、RDD什么是 RDD？RDD核心属性一、分区列表二、分区计算函数三、RDD 之间的依赖关系四、分区器（可选）五、首选位置（可选）RDD执行原理一、启动 Yarn 集群环境二、Spark 通过申请资源创建调度节点和计算节点三、Spark 框架根据需求将计算逻辑根据分区划分成不同的任务四、调度节点将任务根据计算节点状态发送到对应的计算节点进行计算RDD基础编程一、从集合（内存）中创建 RDD二、从外部存储（文件）创建RDD三、从其他 RDD 创建四、

2022-04-14 11:53:19 1349

原创 Spark学习复习（4.运行框架结构）

文章目录Spark运行框架结构1. 核心组件DriverExecutorMaster & WorkerApplicationMaster2. 核心概念Executor 与 Core并行度（ Parallelism）有向无环图（ DAG）3. 提交流程Yarn Client 模式Yarn Cluster 模式☆Spark运行框架结构Spark 框架的核心是一个计算引擎，整体来说，它采用了标准 master-slave 的结构。如下图所示，它展示了一个Spark 执行时的基本结构。图形中的Dr

2022-04-13 23:06:16 251

原创 Spark学习复习（3.运行环境）

Spark运行环境Spark 作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为Yarn，不过逐渐容器式环境也慢慢流行起来。接下来，我们就分别看看不同环境下Spark 的运行。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IZSn0lX9-1649739301783)(assets/image-20210413140428154.png)]1. 部署模式对比Spark Master 内部通信服务端口号：7077Spark

2022-04-13 23:05:42 705 2

原创 Spark学习复习（2.快速入门）

文章目录Spark快速入门1. 创建Maven项目2. 增加 Scala 插件3. WordCount第一种写法：第二种写法：4. 日志处理5. 可能的异常☆Spark快速入门在大数据早期的课程中我们已经学习了 MapReduce 框架的原理及基本使用，并了解了其底层数据处理的实现方式。接下来，就让咱们走进 Spark 的世界，了解一下它是如何带领我们完成数据处理的。1. 创建Maven项目创建spark-study的Maven项目。引入以下依赖：<?xml version="1

2022-04-12 16:44:50 1895

原创 Spark学习复习（1.入门概述）

文章目录Spark概述1. Spark是什么？2. Spark and Hadoop首先从时间节点上来看：HadoopSpark然后我们再从功能上来看：HadoopSpark3. Spark or Hadoop4. Spark 核心模块Spark CoreSpark SQLSpark StreamingSpark MLlibSpark GraphX☆Spark概述1. Spark是什么？Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。2. Spark and Hadoop在之

2022-04-12 13:16:23 189

原创 MySQL学习复习笔记

原子性(Atomicity)：事务是不可分割的最小操作但愿，要么全部成功，要么全部失败一致性(Consistency)：事务完成时，必须使所有数据都保持一致状态隔离性(Isolation)：数据库系统提供的隔离机制，保证事务在不受外部并发操作影响的独立环境下运行持久性(Durability)：事务一旦提交或回滚，它对数据库中的数据的改变就是永久的

2022-04-11 15:30:05 2188

原创 INSERT、IGNORE INTO、REPLACE INTO的区别

INSERT、IGNORE INTO、REPLACE INTO的区别

2022-04-10 18:50:24 763

原创 scala学习复习笔记超详细（并发编程模型Akka）

文章目录Scala并发编程模型Akka1. Akka简介Akka是什么？Actor 模型解决什么问题？2. Akka中Actor模型Actor模型及其说明Actor模型工作机制说明3. Actor模型快速入门SayHelloActorSayHelloActorDemo效果如图：小结和说明：4. Actor模型应用实例-Actor间通讯DdActorMmActorMain效果图：小结：5. Akka网络编程网络编程基础知识TCP/IP模型IP地址端口portAkka网络编程-小黄鸡客服案例服务端--Serve

2022-04-09 23:11:27 823

原创 scala学习复习笔记超详细（泛型和上下界）

文章目录Scala泛型和上下界1. Scala泛型Scala泛型案例一Scala泛型案例二Scala泛型案例三2. Scala类型约束测试上下界用到的公共类上界(Upper Bounds)下界(lower bounds)视图界定上下文界定3. Scala协变、逆变和不变应用实例☆Scala泛型和上下界1. Scala泛型如果我们要求函数的参数可以接受任意类型。可以使用泛型，这个类型可以代表任意的数据类型。例如 List，在创建 List 时，可以传入整型、字符串、浮点数等等任意类型。那是因为 L

2022-04-09 14:57:54 259

原创 scala学习复习笔记超详细（函数式编程高级）

文章目录Scala函数式编程高级1. 偏函数偏函数简化形式作为参数的函数2. 匿名函数3. 高阶函数4. 类型推断5. 闭包闭包的最佳实践6. 函数柯里化(curry)函数柯里化快速入门函数柯里化最佳实践7. 控制抽象☆Scala函数式编程高级先看一个需求：给你一个集合val list = List(1, 2, 3, 4, "abc") ，请完成如下要求：将集合list中的所有数字+1，并返回一个新的集合。要求忽略掉非数字的元素，即返回的新的集合形式为 (2, 3, 4, 5)解决方式：

2022-04-09 08:28:56 202

原创 scala学习复习笔记超详细（模式匹配）

文章目录Scala模式匹配1. Scala模式匹配快速入门条件守卫课堂练习模式中的变量For表达式中的模式2. Scala模式匹配详解类型匹配匹配数组匹配列表匹配元组匹配对象3. 样例类样例类快速入门样例类最佳实践case语句的中置(缀)表达式匹配嵌套结构4. 密闭类☆Scala模式匹配Scala中的模式匹配类似于Java中的switch语法，但是更加强大。模式匹配语法中，采用match关键字声明，每个分支采用case关键字进行声明，当需要匹配时，会从第一个case分支开始，如果匹配成功，那么执行对

2022-04-08 18:01:22 487

原创 scala学习复习笔记超详细（集合的操作）

文章目录Scala集合的操作1. 集合元素的映射操作传统方式解决map映射函数解决map课堂练习flatmap映射2. 集合的一系列操作过滤filter化简reduce折叠fold扫描scan拉链zip迭代器iterator集合综合应用案例3. 集合的扩展知识流Stream视图View并行集合par操作符☆Scala集合的操作1. 集合元素的映射操作看一个实际需求要求：请将List(3,5,7) 中的所有元素都 * 2 ，将其结果放到一个新的集合中返回，即返回一个新的List(6,10,14)

2022-04-08 09:21:18 587

原创 scala学习复习笔记超详细（集合基础）

文章目录Scala集合基础1. Scala不可变集合继承关系一览图2. Scala可变集合继承关系一览图☆3. Scala数组Array和ArrayBuffer定长数组Array变长数据ArrayBufferArray与ArrayBuffer的转换多维数组的定义和使用Scala数组与Java的List互相转换4. Scala元组Tuple5. Scala列表List和ListBufferListListBuffer6. Scala队列Queue7. Scala映射Map8. Scala集Set☆Scala

2022-04-07 17:12:01 626

原创 LeetCode 热题 HOT 100 (1.两数之和 2. 两数相加)

文章目录1.两数之和2.两数相加1.两数之和题目：给定一个整数数组 nums 和一个整数目标值 target，请你在该数组中找出和为目标值 target 的那两个整数，并返回它们的数组下标。你可以假设每种输入只会对应一个答案。但是，数组中同一个元素在答案里不能重复出现。你可以按任意顺序返回答案。示例 1：输入：nums = [2,7,11,15], target = 9输出：[0,1]解释：因为 nums[0] + nums[1] == 9 ，返回 [0, 1] 。示例 2：

2022-04-07 11:40:38 155

原创 scala学习复习笔记超详细（隐式转换和隐式值）

文章目录Scala隐式转换和隐式值隐式转换隐式值隐式类隐式的转换时机☆Scala隐式转换和隐式值先看一段代码，引出隐式转换的实际需要：指定某些数据类型的相互转化object ScalaConversionDemo01 { def main(args: Array[String]): Unit = { //var num:Int = 3.5 //error 高精度->低精度 //println(num) }}隐式转换隐式转换函数是以implicit关键字声明的带

2022-04-07 10:42:27 111

原创 scala学习复习笔记超详细（面向对象）

文章目录Scala面向对象编程1. 类与对象属性方法创建对象类与对象应用实例类和对象的内存分配策略2. 构造器回顾Java构造器Scala构造器3. 属性高级构造器参数Bean属性4. Scala对象的创建流程5. Scala包详解☆回顾Java中的包Scala包入门Scala包特点☆Scala包使用细节Scala的包对象包的可见性JavaScala包的引入6. Scala面向对象编程☆封装继承重写方法Scala中类型检查和转换Scala中超类的构造覆写字段抽象类匿名子类继承层级多态静态属性和静态方法Jav

2022-04-06 11:39:50 1248

原创 scala学习复习笔记超详细（函数式编程基础）

文章目录Scala函数式编程基础1. 函数式编程内容2. 函数式编程介绍3. 函数定义/声明4. 函数运行机制5. ☆递归☆Scala递归课堂练习题6. Scala函数注意事项和细节讨论☆7. 过程8. 惰性函数Java实现懒加载的代码惰性函数9. 异常Scala异常处理小结10. 函数的课题练习☆Scala函数式编程基础1. 函数式编程内容函数式编程基础函数定义/声明函数运行机制递归难点 [最短路径，邮差问题，迷宫问题, 回溯]过程惰性函数和异常函数式编程高级值函数

2022-04-05 22:13:38 336

原创 scala学习复习笔记超详细（流程控制）

文章目录Scala流程控制语句1. 顺序控制2. 分支控制单分支和双分支多分支分支控制if-else 注意事项嵌套分支switch分支结构TODO3. 循环控制☆for循环控制☆while循环控制do..while循环控制多重循环控制while循环的中断☆Scala流程控制语句在程序中，程序运行的流程控制决定程序是如何执行的，是我们必须掌握的，主要有三大流程控制语句。Scala语言中控制结构和Java语言中的控制结构基本相同，在不考虑特殊应用场景的情况下，代码书写方式以及理解方式都没有太大的区别。

2022-04-04 22:45:36 424

爱敲代码的小黑的博客