大数据
Y1983058680
这个作者很懒,什么都没留下…
展开
-
Scala
01. 匹配模式 字符串 object Demo1 { def main(args: Array[String]): Unit = { val arr = Array("java","scala","js","sql","css") /*val i: Int = Random.nextInt(arr.length) println(arr(i))*/ arr.map(e=>e match { case "java" => "hls"原创 2020-11-09 15:49:15 · 104 阅读 · 0 评论 -
Scala
目录 01. 成员变量 02. 成员方法 03. 成员函数 04. 局部变量 05. 代码块 06. apply方法 07. classOf/isInstanceOf/asInstanceOf 08. 权限修饰符 private private[this] private[packageName] 09. 特质 动态混入 new对象是再实现接口 10. 抽象类 11. 样例类 12. 高阶函数 13. 偏函数 14. 匹配模式 01. 成员变量 位...原创 2020-11-05 21:29:23 · 122 阅读 · 0 评论 -
Scala 面向对象
1. 组成结构 构造函数 成员变量 成员方法 局部变量 代码块 2.构造器 2.1 定义 每个类都有一个主构造器,这个构造器和类定义"交织"在一起类名后面的内容就是主构造器, 如果参数列表为空的话,()可以省略 scala的类有且仅有一个主构造器,要想提供更加丰富的构造器,就需要使用辅助构造器,辅助构造器是可选的,它们叫做this 注意:主构造器会执行类定义中的所有语句 3.成员变量 4.成员方法 5.成员函数 6. 7. 8. ...原创 2020-11-05 09:47:24 · 78 阅读 · 0 评论 -
Scala 集合常用方法
01. 回顾 02. 作业 03. reduce() 04. reduceLeft() 05. reduceRight() 数字运算 字符串拼接 06. 交集intersect/差集diff/并集union ++ (arr1 ++ arr2) arr1.intersect(arr2) 共同好友案例 union 在2.13中被concat 替换掉 07. distinct/distinctBy distinctBy 08. zip 拉链操作 以两个迭代集...原创 2020-11-03 17:00:58 · 115 阅读 · 1 评论 -
Scala 集合常用方法
1. foreach 迭代遍历集合中的每个元素,对每个元素进行处理 ,但是没有返回值,常用于打印结果数据 ! 适用于所有的集合类型,Array、List、Set、Iterator、Map object Foreach { def main(args: Array[String]): Unit = { // List val ls1 = List(1,2,3,4,5) ls1.foreach(e=>println(e)) ls1.foreach(e=&g.原创 2020-11-02 23:13:49 · 202 阅读 · 0 评论 -
Scala 方法、函数、数组、集合
1. 方法 方法和函数定义在object中,默认都是静态的,类可以直接调用。 1.1 方法可以写在main主方法中: object Demo01 { def main(args: Array[String]): Unit = { def show ={ println("hello~") } show } } 输出:hello~ 1.2 也可以在main方法以外调用方法: object Demo01 { def show ={原创 2020-11-01 23:41:23 · 68 阅读 · 0 评论 -
Scala 简介、安装及基础知识
01. Scala简介 02. 安装 03. IDEA搭建Scala项目 04. 数据类型 05. 变量的定义 06. 类型转换 toInt isInstanceOf[data type] 判断数据是否为指定数据类型 asInstanceOf[data type] 强制类型转换 将数据转换为指定数据类型 可以向上转型 不可以向下转型 07. 流程控制 if(){}else if(){} else{} 08. 代码块的返回值 ...原创 2020-10-30 23:30:30 · 80 阅读 · 0 评论 -
Impala(一) 基本命令及操作
-- 在impala中创建表a,在Hive中可以查到,Hive会自动更新元数据 create table a(id int ,name string); -- 在Hive中创建表b,在impala中查询不到,impala不会自动更新元数据 create table b(id int ,name string); -- 需要刷新才可以查到 invalidate metadata; -- 1.使用Hive向impala创建的表a中插入数据,发现没有权限 -- 2.vi /etc/passwd 文件中将 hd.原创 2020-10-23 22:17:57 · 920 阅读 · 0 评论 -
ClickHouse(一)简介、安装、基本操作、引擎
1. 为什么要用ClickHouse? olap引擎优点:(kudu+impala+ClickHouse) 即时返回数据 支持各种的聚合维度统计 存储海量数据 数据单一固定 ——> HDFS 多维度固定 ——> kyin 维度、运算都不固定,即时 ——> ClickHouse 2. 安装 2.1 单机安装 1. 安装curl工具 yum install -y curl 2. 添加clickhouse的yum镜像 curl -s https...原创 2020-10-18 23:47:36 · 974 阅读 · 1 评论 -
Hive(四)-- 行转列、列转行、窗口函数、编号函数
行转列 使用聚合函数将行元素聚合为一个集合,再用concat、concat_ws进行拼接 collect_list() collect_set() concat concat_ws 案例: 孙悟空 白羊座 A 娜娜 射手座 A 宋宋 白羊座 B 猪八戒 白羊座 A 凤姐 射手座 A create table tb_row_col( name string , star string , xx string ) row format delimited fields terminated by原创 2020-10-17 22:53:28 · 710 阅读 · 0 评论 -
Hive(三)基本查询语句
Hive(三)1. Hive元数据配置2. Hive远程客户端报错处理3. Hive基本查询3.1 ~~select * from tb_name~~ ;3.2 选择特定列查询3.3 列别名3.4 常用聚合函数3.5 limit 1. Hive元数据配置 <!-- 启动元数据服务 --> <property> <name>hive.metastore.local</name> <value>false</value> <des原创 2020-10-15 21:34:41 · 238 阅读 · 0 评论