笔记
文章平均质量分 93
小卧底
漫步人生路
展开
-
Hive中的开窗操作over()
前提over() 可以为 聚合函数或者窗口函数进行开窗操作;开窗之后,每一行的数据都会对应一个数据窗口,这个数据窗口中的数据可能会随着行的变化而变化。over(参数) 中可以指定的参数partition by col:按照col进行分区(类似于分组),每个分区拥有自己独立的数据窗口order by col:窗口中的数据按照col进行排序;当over与聚合函数一起使用时,如果指定了order by,那么数据窗口中的数据=上一次窗口中的数据+当前行数据准备name orderdate c原创 2021-03-31 09:02:09 · 996 阅读 · 0 评论 -
大数据学习之路 Kafka篇
Kafka定义Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。消息队列点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)消息生产者生产消息发送到Queue中,然后消息消费者从Queue中取出并且消费消息。消息被消费后,queue中不再有存储,所以消息消费者不可能消费已经被消费的消息。Queue支持存在多个消费者,但是对一个消费者而言,只会有一个消费者可以消费。发布/订阅模式(一对多,消费者消费数据之后不会清除消息)原创 2021-03-14 14:50:08 · 214 阅读 · 0 评论 -
Java中的HashMap重要源码分析
Java中的HashMappublic class HashMapTest { public static void main(String[] args) { Map<Integer, String> hm = new HashMap(); System.out.println(hm.put(12,"丽丽")); System.out.println(hm.put(7,"菲菲")); System.out.println原创 2021-02-05 21:57:05 · 157 阅读 · 0 评论 -
红黑树实现(Java版)
红黑树基础知识红黑树-百度百科基础知识自行查阅,这里我们直接描述重点红黑树的性质每个节点要么是黑色,要么是红色根节点是黑色每个叶子结点(NIL,空节点)是黑色每个红色节点的两个子节点一定是黑色的,不能有两个红色节点相连任意一节点到其每个叶子结点的路径上都包含数量相同的黑色节点(这条性质称之为:黑色完美平衡。俗称:黑高)由性质5可以推出:如果一个节点存在黑子节点,那么该节点肯定有两个子节点下图就是一颗符合上述5条性质的红黑树:红黑树的自平衡所经历的三种的操作变色节点的颜原创 2021-02-05 21:56:14 · 492 阅读 · 0 评论 -
大数据学习之路 JUC篇
大数据学习之路 JUC篇JUC:java.util.concurrentjava.util.concurrent.atomicjava.util.concurrent.locks什么是 进程、线程?参考文章什么是 并发、并行?参考文章线程的几种状态Thread.State 枚举类查看线程的各种状态NEW(新建);RUNNABLE(就绪);BLOCKED(阻塞);WAITING(等待)一直等待,不见不散;TIMED_WAITING(超时等待)等待一定的时候后,不再等待;T原创 2020-08-24 14:45:15 · 1691 阅读 · 5 评论 -
Scala篇(4)隐式转换
Scala中的隐式转换在java中,如果将精度大的数转换成精度小的数,必须使用强制类型转换才能实现。但是,在scala,可以通过隐式转换的方式,让这种转换无需明显的强制类型转换就能完成。Scala中的隐式转换包括三类:隐式转换函数隐式类隐式参数和隐式值隐式函数当出现类型转换冲突的时候,scala就会寻找隐式转换,不看函数名,只看参数类型和返回值类型implicit def double2int(double: Double): Int= double.toIntimplici原创 2020-12-18 13:28:10 · 504 阅读 · 0 评论 -
Scala篇(3)面向对象编程
Scala 面向对象编程学习Scala是一个完全面向对象的语言package(Scala中的包)Scala中的包声明方式默认和java是一致的。但是有其他的使用方式在同一个源码文件,可以多次声明包(但是声明的类在最后的那个包中)源码中的类所在的位置不需要和包路径相同//第一种方式package o.l.scala.Functionspackage package1class User { var name: String= _ var age:Int=_ def UserSt原创 2020-12-18 12:59:29 · 237 阅读 · 0 评论 -
Centos7 安装Mysql数据库(转载)
Centos7安装Mysql数据库的流程前提说明CentOS 7 版本将MySQL数据库软件从默认的程序列表中移除,用MariaDB代替了,MariaDB数据库管理系统是MySQL的一个分支,主要由开源社区在维护,采用GPL授权许可。开发这个分支的原因之一是:甲骨文公司收购了MySQL后,有将MySQL闭源的潜在风险,因此社区采用分支的方式来避开这个风险。MariaDB的目的是完全兼容MySQL,包括API和命令行,使之能轻松成为MySQL的代替品。个人理解:其实MariaDB 就相当于mysql-原创 2020-12-13 10:30:52 · 140 阅读 · 0 评论 -
Scala篇(1)基础知识
Scala 语言学习变量var 关键字定义的变量在声明后,可以进行修改val 关键字定义的变量在声明之后,不可以进行修改(相当于Java中的 final 关键字)final 关键字说明:声明的变量的地址不可变的,但是内存地址指向的内容是可以变的,但是Java中String没有提供修改内容的方法,都是创建一个新的字符串进行返回。能省则省:scala为了让开发过程变得简单, 可以将自动推断出来的内容省略。val name=“wangwu”变量声明时,需要显示初始化。Scala数据类型介绍原创 2020-12-08 15:54:20 · 354 阅读 · 0 评论