- 博客(12)
- 收藏
- 关注
RSS订阅原创 spark 常用类，常用函数，spark DataFrame函数，funcation库
函数后面，通常用来用作条件判断，跟when函数进行结合，when相当于if，otherwise相当于else，例：我需要判断两个值那个大，如果第一个值更大就返回大，如果小就返回小，如果相等就返回相等。启用Hive支持，包括连接到持久的HIve metastore，支持Hive serdes和Hive用户定义函数，如果不启用hive支持，spark是找不到hive中的表的。聚合函数：返回具有重复对象的列表，注意：该函数是不确定的，因为收集结果的顺序取决于行顺序，而行顺序在shuffle后可能是不确定的。
2023-10-13 19:24:53
719
原创 spark.sql.functions函数
org.apache.spark.sql.functions类中所有的函数，时间函数，聚合函数，字符串函数，窗口函数，排序函数等
2022-11-29 10:56:42
1143
1
原创 java “==” 和 equals的区别
= 基本类型，引用类型比较的都是地址值，equal默认情况下引用类型比较的是地址值，如String等其他类重写过后比较的都是内容，equals不能作用于基本数据类型上面。
2022-11-06 09:48:56
132
原创 Hive 3.x详细笔记
Hive多行转单列实现实现字符串的拼接函数：concat函数功能语法测试itcastAndhima特点：如果任意一个元素为null，结果就为nullnull 功能语法测试itcast-and-heima特点：任意一个元素不为null，结果就不为nullitcast-And功能语法测试[“a”,“a”,“a”,“b",“b”,“b”]功能语法测试[“b”,“a”]代码实现多列传多行union关键字功能语法
2022-10-20 20:06:07
982
原创 java反射基础知识与代码
当程序要使用某个类时，如果该类还未被加载到内存中，则系统会通过加载，连接，初始化三步来实现对这个类进行初始化。加载连接。
2022-10-18 13:02:47
67
原创 MySQL数据库
不是将表中所有数据都查询出来。是查询出来符合条件的语法格式select 字段 from 表名 where 条件;在实际的引用中，可能有这样的需求，需要先进行分组，然后对每一组的数据进行操作。这个时候我们需要使用分组查询，怎么进行分组查询呢？# 格式: select . . . from . . . group by . . .将之前的关键字全部组合在一起，来看一下他们的执行顺序？
2022-10-18 12:59:45
284
原创 Hive 3.x详细笔记
Hive多行转单列实现实现字符串的拼接函数：concat函数功能语法测试itcastAndhima特点：如果任意一个元素为null，结果就为nullnull 功能语法测试itcast-and-heima特点：任意一个元素不为null，结果就不为nullitcast-And功能语法测试[“a”,“a”,“a”,“b",“b”,“b”]功能语法测试[“b”,“a”]代码实现多列传多行union关键字功能语法
2022-10-18 12:56:18
1252
1
原创 Hadoop
HDFS优缺点1、高容错性数据自动保存多个副本，它通过增加副本的形式，提高容错性某一个副本丢失以后，它可以自动恢复2、适合处理大数据数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；文件规模：能够处理百万规模以上的文件数量，数量相当之大3、可以构建在廉价的机器上，通过多副本机制，提高可靠性HDFS缺点1、不适合低延时数据访问，比如毫秒级的存在数据，是做不到的2、无法搞效的对大量小文件进行存储①存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。
2022-10-13 19:44:51
402
原创 mysql
select // 选择需要查询的...from // 所属表...where // 分组前过滤条件...group by // 分组...having // 分组后滤条件...order by // 排序...limit // 分页.../*执行顺序:1.from2.where4.having5.select7.limit..*/
2022-10-13 19:38:21
969
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人