- 博客(5)
- 资源 (3)
- 收藏
- 关注
原创 2021-09-02
zepeelin org/apache/hive/service/rpc/thrift/TCLIService$Iface zepeelin中缺少hive-service-rpc-****.jar包
2021-09-22 16:01:58 73
原创 Spark简介
Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎 Apache Spark是一个快速的、多用途的集群计算系统。它提供了Java、Scala、python和R的高级API,以及一个支持通用的执行图计算的优化过的引擎,它还支持一组丰富的高级工具,包括使用SQL处理结构化数据处理的Spark SQL,用于机器学习的MLlib,用于图计算的Graphx,以及Spark Streami...
2019-05-27 19:43:38 207
原创 scala——var和val的区别
var:修饰的变量可以改变 val:修饰的变量不可以改变,相当于Java语法中的final 只有val修饰的变量才能被lazy修饰,使用lazy定义变量后,只有在调用该变量时才会实例化这个变量的值,而且惰性变量只能是不可变变量 使用var声明的一个变量 var修饰的变量,内容和引用都可变 使用val声明的一个常量和值 val修饰的变量时不可变的,注意不可变的不是内容,而是内容 可变和不可变 ...
2019-05-21 17:30:35 2705
原创 HQL的一些优化
一、hql的查询 1、hql语句的执行顺序 from 加载,进行表的查找和加载 on 关联字段 join 关联表 where 过滤 group by 分组 having 过滤 select 去重 order by 排序 limit 限制输出数量 2、hql的部分优化 原则一:分区一定要加 原则二:多表连接时使用相同的关联词,这样只会产生一个job 文件a 文件b ...
2019-05-15 19:27:02 1446
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人