- 博客(33)
- 收藏
- 关注
原创 Scala---Array(集合、序列)
数组是一种可变的、可索引的数据集合。在Scala中用Array[T]的形式来表示Java中的数组形式 T[]。
2023-03-16 10:46:10
1300
1
原创 flume---安装与配置
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
2023-03-10 13:11:32
1066
原创 Hive---安装与配置
hive的hiveserver2服务的作用是提供jdbc/odbc接口,为用户提供远程访问hive数据的功能,如用户期望在个人电脑中访问远程服务中的hive数据,就需要用到hiveserver2。启动hive时,在命令行添加 -hiveconf param=value来设定参数。hive的meta store服务的作用时为hive cli或者hiveserver2提供元数据访问箭扣。hive不需要搭建集群,相当于Hadoop的一个客户端,通常使用单机就足够了。这样hive的安装就完成了。
2023-03-10 08:38:37
506
原创 Hadoop---高可用搭建
这里以三台虚拟机为例 ant151 / ant152 / ant153。在opt下面创建一个shell目录,在创建一个showjps.sh文件用于存放脚本。在opt下面创建一个shell目录,在创建一个zkop.sh文件用于存放脚本。启动ant151,ant152,ant153的journalnode服务。从 解压 开始到 配置环境变量 的操可提取到一个脚本里面直接操作。同步时间的下面操作三台机都需要。在ant151上面操作。在ant151上面操作。在ant152上操作。
2023-03-09 17:38:06
181
原创 HDFS---文件系统读写原理
Client(客户端)对HDFS中的数据进行读写操作,分别是Client从HDFS中查找数据,即为Read(读)数据;Client从HDFS中存储数据,即为Write(写)数据。下面我们对HDFS的读写流程进行详细的介绍。假设有一个文件1.txt文件,大小为300M,这样就划分出3个数据块,如图1所示。HDFS文件读数据和写数据的原理。
2023-03-09 16:58:32
141
原创 Oracle---视图 & 索引 &语法结构
视图所对应的数据, 并不是真正的存储在 视图 中,而是 存储在所引用的数据表 中。应用场景:当某个字段的值为 连续增长的值,如果构建标准索引,会形成歪脖子树。建立反向键索引,可以使索引的值变得不规则,从而使索引树能够均匀分布。合理的使用索引可以大大降低 I/O 次数,从而提高数据访问性能。索引是需要占据存储空间的,也可以理解为是一种特殊的数据。需要在某个表某个列创建索引,而这列的值是 不会重复的。建立复合索引,也就是基于两个以上的列建立一个索引。视图的结构和数据,是对数据表进行查询的结果。
2023-03-09 16:36:59
1281
原创 Oracle序列
TIP:在刚建立序列后,无法提取当前值,只有先提取下一个值时才能再次提取当前值。序列是 Oracle 提供的用于产生一系列 唯一数字 的数据库对象。
2023-03-09 16:16:34
35
原创 MySQL基础---窗口函数
1.通过partition by 和 order by 子句确定大窗口( 定义出上界unbounded preceding和下界unbounded following)窗口函数有over关键字,指定函数执行的范围,可分为三部分:分组子句(partition by),排序子句(order by),窗口子句(rows)窗口限定一个范围,它可以理解为满足某些条件的记录集合,窗口函数也就是在窗口范围内执行的函数。3.对每行的小窗口内的数据执行函数并生成新的列。2)后者只能选取分组的列和聚合的列。
2023-03-09 15:17:58
115
原创 JDBC Java语言连接数据库(Java DataBase Connectivity)
JDBC是一种可用于执行SQL语句的JAVA API,是链接数据库和JAVA应用程序的纽带
2023-01-02 15:02:45
183
原创 Java高级---XML、JSON
特点:XML与操作系统、编程语言的开发平台无关。非常优秀的Java XML API。特点:占用资源少,内存消耗小。实现不同系统之间的数据交换。基于XML文档树结构的解析。适用于多次访问的XML文档。适用于大数据量的XML文档。XML:可扩展标记语言。
2022-11-17 19:00:20
127
原创 Java面向对象---面向对象概述
抽象方法:使用abstract来修饰,不可以有方法体,直接用分号结束即可。2、抽象类的子类必须重写父类中的抽象方法,否则,子类必须也是抽象类。抽象类:如果一个类中有抽象方法,这个类必须是一个抽象类。1、被final修饰的变量不可以被改变,又被称为常量。静态的内容在内存中是保留一份的,且各个对象之间共享。1、把子类的对象赋值给父类的变量->向上转型。2、把父类的变量转化回子类的变量->向下转型。1、接口中所有的方法都是抽象方法,都是公开的。2、被final修饰的方法不可以被重写。
2022-11-17 18:58:42
269
原创 Java多线程---接力跑问题
一道简单的多线程习题,原题为1000米,10条线程,本文为了简化思路将题目简化为300米,实则思路相同,只是需要多几条线程和几次循环
2022-11-15 18:16:40
525
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人