- 博客(71)
- 收藏
- 关注
RSS订阅原创 复习kafka
Kafka 是一种非常强大的分布式消息系统，它具有高吞吐量、可靠性、实时性、可扩展性等优势，被广泛应用于日志处理、数据传输、实时数据处理、分布式事务等领域。Kafka 的设计目标是提供一种高效、可靠的消息传输机制，能够处理大量的实时数据。Partition：分区，是 Kafka 中存储消息的单元，每个主题可以被分为多个分区。Kafka 服务器将消息存储到对应的分区中，并为每个消息分配一个唯一的偏移量。实时性：Kafka 支持实时的消息传输，保证消息的实时性。
2024-06-02 13:44:50
687
1
原创 spark SQL优化器catalyst学习
以上是一个关于 Spark SQL 优化器 Catalyst 的学习文档，希望对你有所帮助。如果你有任何问题或建议，请随时与我交流。即在资产许那阶段就提前将数据进行过滤，后续的join和shuffle数据量会大大减少。就是会提前将1 + 1计算成2，再赋给id列的每行，不用每次都计算一次1+1。就是提前将需要的列查询出来，其他不需要的列裁剪掉。一、Catalyst 概述。
2024-06-01 21:29:18
838
原创 企业级宽表建设
宽表，从字面意义上讲就是字段比较多的数据库表，通常情况下是讲很多相关的数据，包括实时表、维度表、指标等格言录在一起形成的一张数据表。
2024-06-01 19:23:27
283
原创 spark基本原理&UI界面解读
一级入口重点内容executors不同executors之间，是否存在负载倾斜不同executors之间，是否存在负载倾斜storage分布式数据集的缓存级别，内存，磁盘缓存比例SQL初步了解不同执行计划的执行时间，确实是否符合预期jobs初步感知不同jobs的执行时间，确实是否符合预期stage初步感知不同stage的执行时间，确实是否符合预期记录了以action为粒度，记录了每个action作业的情况。
2024-03-16 18:32:41
1512
1
原创 NB的hive参数配置
这两个Hive参数 真的NB--流量omega表必须配置这两个参数，否则跑不出来数据。set mapred.input.dir.recursive = true;set hive.mapred.supports.subdirectories = true;
2020-05-19 14:12:20
381
原创 Kafka机制问题
Kafka生产过程分析1 Kafka生产过程分析1.1 写入方式1.2 分区（Partition）1.3 副本1.4 写入流程2 Broker 保存消息2.1 存储方式2.2 存储策略2.3 Zookeeper 存储结构3 Kafka 消费过程分析1 Kafka生产过程分析1.1 写入方式producer 采用推（push） 模式将消息发布到 broker，每条消息都被追加（append）...
2020-04-06 18:14:58
208
原创 数据仓库
数据仓库Hive1 什么是数据仓库2 数据仓库能干什么？3 数据仓库的特点3.1 数据仓库的数据是面向主题的3.2 数据仓库的数据是集成的3.3 数据仓库的数据是不可更新的3.4 数据仓库的数据是随时间不断变化的4 数据仓库发展历程4.1 简单报表阶段4.2 数据集市阶段4.3 数据仓库阶段5 数据库与数据仓库的区别5.1 数据库软件5.2 数据库5.3 数据仓库6 数据仓库架构分层6.1 数据仓...
2020-03-20 23:36:46
436
原创 分布式计算引擎 - Flink
Flink1 Flink 重要特点1.1 事件驱动型(Event-driven)1.2 流与批的世界观1.3 分层 api1.4支持有状态计算1.5 支持 exactly-once 语义1.6 支持事件时间（EventTime）2 Flink操作环境上手2.1 搭建Flink的工作环境2.2 有界数据流处理(数据离线处理)2.4 无界数据流(实时)处理示例3 集群环境搭建&Yarn模式Ya...
2020-03-20 17:18:00
1517
原创 SparkStreaming
SparkStreaming1 Spark Streaming 概述1.1 什么是 Spark Streaming1.2 Spark Streaming的特点1.3 Spark 与 Storm 的对比2 架构与抽象2.1 整体架构2.2 DStreams 抽象概念3 运行Spark Streaming3.1 IDEA 编写程序3.2 自定义接收器3.3 基本数据源文件数据源3.4 RDD 队列3....
2020-03-20 11:13:59
216
原创 Spark SQL
Spark SQL1 Spark SQL 概述1.1 什么是 Spark SQL1.2 RDD vs DataFrames vs DataSet1.2.1 RDD1.2.2 Dataframe1.2.3 Dataset1 Spark SQL 概述1.1 什么是 Spark SQL结构化数据 不是NoSQLSpark SQL 是 Spark 用来处理结构化数据的一个模块，它提供了一个编程抽...
2020-03-18 22:25:22
144
原创 Spark Core
SparkCore1 认识 RDD(弹性分布式数据集)1.1 RDD 为什么会产生1.2 RDD 概述1.2.1 什么是 RDD1 认识 RDD(弹性分布式数据集)实现了 Spark 的基本功能，包含任务调度、内存管理、错误恢复、与存储系统 交互等模块。 Spark Core 中还包含了对弹性分布式数据集(resilient distributed dataset，简称 RDD)的 API ...
2020-03-17 14:31:58
384
原创 Spark认知&Spark环境搭建
Spark认知&Spark环境搭建1 Spark认知篇1.1 什么是Spark？1.2 Spark 特点1.2.1 快1.2.2 易用1.2.3 通用1.2.4 兼容性1.3 Spark 的用户和用途2 Spark 角色介绍及运行模式2.1 集群角色2.2 运行模式2.2.1 Local 模式2.2.2 Standalone 模式2.2.3 Yarn 模式2.2.4 Mesos 模式3 S...
2020-03-14 18:36:59
330
原创 Scala 函数式编程中的高阶函数练习
Scala 函数式编程中的高阶函数练习编写一个 compose 函数，将两个类型为 Double=>Option[Double]的函数组合在一起，产生另一个同样类型的函数。如果其中一个函数返回 None，则组合函数也应返回 None。例如：def f(x : Double) = if ( x >= 0) Some(sqrt(x)) else Nonedef g(x : Dou...
2020-03-13 14:36:47
499
原创 Scala函数式编程之高阶函数
Scala 函数式编程之高阶函数1 作为参数的函数2 匿名函数3 高阶函数3.1 高阶函数的使用3.2 高阶函数同样可以返回函数类型4 参数（类型）推断5 闭包6 柯里化6.1 柯里化示例6.2 柯里化的应用7 控制抽象7.1 使用示例7.2 进阶用法： 实现类似 while 的 until 函数1 作为参数的函数函数作为一个变量传入到了另一个函数中，那么该作为参数的函数的类型是： func...
2020-03-13 14:09:24
256
原创 Scala 中的数据结构&模式匹配练习
Scala 中的数据结构&模式匹配练习数据结构数据结构编写一段代码，将 a 设置为一个 n 个随机整数的数组，要求随机数介于 0和 n 之间。 def main(args: Array[String]): Unit = { randomArray(10).foreach(println) } def randomArray(n:Int):Array[Int]=...
2020-03-12 22:59:58
225
原创 Scala模式匹配的用法
模式匹配1 switch2 守卫3 模式中的变量1 switchScala 中的模式匹配类似于 Java 中的 switch 语法，但是更加强大。模式匹配语法中， 采用 match 关键字声明， 每个分支采用 case 关键字进行声明，当需要匹配时，会从第一个 case 分支开始，如果匹配成功，那么执行对应的逻辑代码，如果匹配不成功，继续执行下一个分支进行判断。如果所有 case 都不匹...
2020-03-11 16:19:54
516
原创 Scala关于运算符问题
操作符这部分内容没有必要刻意去理解和记忆， 语法使用的多了，自然就会产生感觉，该部分内容暂时大致了解一下即可。如果想在变量名、类名等定义中使用语法关键字（保留字） ，可以配合反引号：val `val` = 42这种形式叫中置操作符， A 操作符 B 等同于 A.操作符(B)后置操作符， A 操作符等同于 A.操作符，如果操作符定义的时候不带()则调用时不能加括号无参函数不...
2020-03-10 18:35:32
163
原创 Scala中的Queue&Map&Set&集合操作用法
集合操作1 队列 Queue1.1 队列的创建1.2 队列元素的追加1.3 向队列中追加 List1.4 按照进入队列的顺序删除元素1.5 塞入数据1.6 返回队列的第一个元素1.7 返回队列最后一个元素1.8 返回除了第一个以外剩余的元素（尾部）2 映射 Map2.1 构造不可变映射2.2 构造可变映射2.3 空的映射2.4 对偶元组（包含键值对的二元组）2.5 取值2.6 遍历 map2.6 ...
2020-03-10 16:28:38
384
原创 Scala中的List用法
列表 List1 创建List&访问 List 元素2 List 元素的追加3 List 的创建与追加，符号“::” 连续添加元素 使用::时集合对象一定要放在最右边4 :: 把对象追加进去； :::把集合种的元素追加进去1 创建List&访问 List 元素 val list = List(1,2,3,4) println(list(0))1如果希望得...
2020-03-10 11:52:52
280
原创 Scala中的元组用法
元组 Tuple1 元组的创建2 元组数据的访问，注意元素的访问有下划线，并且访问下标从 1 开始，而不是 03 元组的遍历4 二元组元组也是可以理解为一个容器，可以存放各种相同或不同类型的数据。说的简单点，就是将多个无关的数据封装为一个整体1 元组的创建 val t1 = (1,2,3,4,"abc",true,(1,2,3)) println(t1)(1,2,3...
2020-03-10 11:28:01
308
原创 Scala中的数组用法
数组 Array1 定长数组（声明泛型）2 变长数组（声明泛型）3 定长数组与变长数组的转换4 多维数组5 与 Java 数组的互转6 数组的遍历1 定长数组（声明泛型） //第一种方式定义数组，这里的数组等同于 Java 中的数组 //中括号中的类型其实就是 Java 数组的类型 val arr1 = new Array[Int](10) //赋值 a...
2020-03-10 11:00:01
200
原创 Scala中的集合总述
Scala中的集合总述数据结构特点数据结构特点Scala 同时支持可变集合和不可变集合，不可变集合从不可变，可以安全的并发访问。两个主要的包：不可变集合： scala.collection.immutable可变集合：scala.collection.mutableScala 默认采用不可变集合， 对于几乎所有的集合类， Scala 都同时提供了可变和不可变的版本。...
2020-03-10 10:17:12
89
原创 Scala面向对象编程练习
Scala面向对象编程练习1 类2 对象1 类编写一个 Time 类，加入只读属性 hours 和 minutes，和一个检查某一时刻是否早于另一时刻的方法 before(other:Time):Boolean。Time 对象应该以 new Time(hrs,min)方式构建。class Time(val hrs:Int,val min:Int){ val hours = hrs ...
2020-03-09 21:22:59
575
原创 Scala中的隐式转换
隐式转换和隐式参数1 隐式转换2 利用隐式转换丰富类库功能3 隐式值4 隐式类5 隐式的转换时机6 隐式解析机制7 隐式转换的前提1 隐式转换隐式转换函数是以 implicit 关键字声明的带有单个参数的函数。这种函数将会自动应用，将值从一种类型转换为另一种类型。 //隐式转换 //int i = (int)5.5 //val i:Int = 5.5。toInt...
2020-03-07 22:41:04
138
原创 Scala面向对象之特质语法
特质1 带有具体实现的特质2 带有特质的对象，动态混入3 叠加在一起的特质4 在特质中重写抽象方法5 当作富接口使用的特质6 特质中的具体字段7 特质中的抽象字段8 特质构造顺序9 初始化特质中的字段10 扩展类的特质10.1 特质可以继承自类，以用来拓展该类的一些功能10.2 所有混入该特质的类，会自动成为那个特质所继承的超类的子类10.3 如果混入该特质的类，已经继承了另一个类，不就矛盾了？...
2020-03-07 14:16:54
163
原创 Scala：面向对象之继承语法差异补齐
面向对象之继承语法差异补齐1 继承1.1 重写方法1.2 类型检查和转换1.3 受保护的字段和方法1.4 超类的构造1.5 覆写字段1.6 抽象类1.7 匿名子类1.8 构造顺序和提前定义1 继承和 Java 一样使用 extends 关键字，在定义中给出子类需要而超类没有的字段和方法，或者重写超类的方法。如果类声明为 final，他将不能被继承。如果单个方法声明为 final，将不能被重写...
2020-03-06 23:08:07
102
原创 Sgg：Java GC
Java GCJava GC（Garbage Collection，垃圾收集，垃圾回收）机制，是Java与C++/C的主要区别之一，在使用JAVA的时候，一般不需要专门编写内存回收和垃圾清理代 码。这是因为在Java虚拟机中，存在自动内存管理和垃圾清扫机制。自动垃圾回收机制，简单来说就是寻找 Java堆中的无用对象。打个比方：你的房间是JVM的内存，你在房间里生活会制造垃圾和脏乱，而你妈就是 ...
2020-02-16 18:51:47
193
原创 Sgg：HashSet的contains方法
HashSet的contains方法contains方法用来判断Set集合是否包含指定的对象。语法 boolean contains(Object o)返回值：如果Set集合包含指定的对象，则返回true；否则返回false。...
2020-02-16 18:06:01
615
原创 Sgg：ArrayList可以存储null吗
ArrayList可以存储null吗可以，ArrayList存储的类型是object，null属于object类型。
2020-02-16 17:59:02
4066
原创 sgg：Java如何实现同步锁
Java如何实现同步锁1 Synchronized 关键字2 lock1 Synchronized 关键字为了防止共享对象在并发访问时出现错误，Java中提供了“synchronized”关键字。确保共享对象在同一时刻只能被一个线程访问，这种处理机制称为“线程同步”或“线程互斥”。Java中的“线程同步”基于“对象锁”的概念。修饰方法：被“synchronized”关键字修饰的方法称为“...
2020-02-16 17:55:01
128
原创 神经网络概念与演示
1. 什么是神经网络神经元模型是一个包含输入，输出和计算功能的模型。输入可以类比为神经元的树突，而输出可以类比为神经元的轴突，计算可以类比为细胞核。神经网络的发展：2. 感知器感知器有两个层次：输入层和输出层。输入层里的“输入单元”只负责传输数据，不进行计算。输出层里的“输出单元”则需要对前面一层的输入进行计算。把需要计算的层次称之为“计算层”，并把拥有一个计算层的网络称...
2020-02-14 23:37:17
415
原创 Sgg：（LeetCode每日一题）--178_分数排名
Sgg：（LeetCode每日一题）--178_分数排名1 题目描述2 思路变迁3 代码开搂1 题目描述编写一个 SQL 查询来实现分数排名。如果两个分数相同，则两个分数排名（Rank）相同。请注意，平分后的下一个名次应该是下一个连续的整数值。换句话说，名次之间不应该有“间隔”。例如，根据上述给定的 Scores 表，你的查询应该返回（按分数从高到低排列）：2 思路变迁两个表，每次...
2020-02-04 13:55:32
141
原创 Sgg：（LeetCode每日一题）--175_组合两个表
Sgg：（LeetCode每日一题）--175_组合两个表1 题目描述2 思路变迁3 代码开搂1 题目描述2 思路变迁左连 left join3 代码开搂# Write your MySQL query statement belowselect FirstName , LastName , City , State from Person ...
2020-02-04 13:29:20
149
原创 Sgg：（LeetCode每日一题）--626_换座位
换座位1 题目概述2 思路变迁2.1 简单case函数2.2 case when 搜索函数3 代码开搂1 题目概述难度：中等2 思路变迁主要说明一下case when的用法吧：2.1 简单case函数case sex when sex = 1 then '男' when sex = 1 then '女' else '其他' end 2.2 case when 搜索函数...
2020-02-04 13:19:34
145
原创 Sgg：Scala面向对象语法（包的用法）
包的用法1 属性1.1 构造器参数1.2 Bean 属性2 包2.1 包的作用域2.1.1 形式体现2.2 包对象1 属性1.1 构造器参数Scala 类的主构造器函数是可以添加参数的。如果参数未用任何修饰符修饰，那么这个参数是局部变量。class Scala05_Field(name:String = "zhang3",age:Int){ //此处的 name 未加任何修饰，是局部变量...
2020-01-06 19:36:38
161
原创 Sgg：Scala面向对象语法（类&构造器）
类&构造器1 类2 对象构造器主构造器辅助构造器Scala 是基于 Java 的语言，所以基本的语法非常的类似，但是， 为了能好的体现，高效，简单，灵活等特性， Scala 语言做了极大的努力。 对 Java 的很多语法进行了改进。1 类在 Scala 中，你几乎可以在任何语法结构中内嵌任何语法结构。 如在类中可以再定义一个类，这样的类是嵌套类， 其他语法结构也是一样。嵌套类类...
2019-12-19 18:22:19
139
原创 Sgg：Scala基础语法之异常
Scala异常Scala 提供 try 和 catch 块来处理异常。 try 块用于包含可疑代码。 catch 块用于处理 try块中发生的异常。可以根据需要在程序中有任意数量的 try…catch 块。语法处理上和 Java 类似，但是又不尽相同。什么是异常？异常是一个错误对象，异于正常的表现Error 和Exception都是Throwable的子类Error不可改正的错误，...
2019-12-18 20:41:21
111
原创 Sgg：Scala基础语法（下）
函数1 函数有返回值2 函数无返回值3 函数有参数4 变长参数5 递归函数6 过程7 惰性函数scala 定义函数的标准格式为：def 函数名(参数名 1: 参数类型 1, 参数名 2: 参数类型 2) : 返回类型 = {函数体}1 函数有返回值 //如果使用return 必须指明返回类型 def test1():String = { return "abc" }...
2019-12-18 19:55:22
128
原创 Sgg：Scala的基础语法（中）
Scala的基础语法（中）1 控制结构1 控制结构Scala的控制结构基本思想与Java相似，但是语法不同。if else的语句输出结果还可以单独赋值给一个变量。 val i = 10; val result = if(i > 10){ println("大于10") }else{ println("小于等于10") } ...
2019-12-18 17:40:09
164
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人