自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(12)
  • 收藏
  • 关注

原创 spark 常用类,常用函数,spark DataFrame函数,funcation库

函数后面,通常用来用作条件判断,跟when函数进行结合,when相当于if,otherwise相当于else,例:我需要判断两个值那个大,如果第一个值更大就返回大,如果小就返回小,如果相等就返回相等。启用Hive支持,包括连接到持久的HIve metastore,支持Hive serdes和Hive用户定义函数,如果不启用hive支持,spark是找不到hive中的表的。聚合函数:返回具有重复对象的列表,注意:该函数是不确定的,因为收集结果的顺序取决于行顺序,而行顺序在shuffle后可能是不确定的。

2023-10-13 19:24:53 860

原创 spark调优,调优参数,shuffle调优参数,jvm调优参数

【代码】spark调优,调优参数,shuffle调优参数,jvm调优参数。

2023-10-13 19:01:00 133

原创 spark.sql.functions函数

org.apache.spark.sql.functions类中所有的函数,时间函数,聚合函数,字符串函数,窗口函数,排序函数等

2022-11-29 10:56:42 1258 1

原创 java “==” 和 equals的区别

= 基本类型,引用类型比较的都是地址值,equal默认情况下引用类型比较的是地址值,如String等其他类重写过后比较的都是内容,equals不能作用于基本数据类型上面。

2022-11-06 09:48:56 158

原创 maven 基础详细笔记

Maven中的坐标 用于描述仓库中资源的位置。

2022-10-20 20:09:59 169

原创 Hive 3.x详细笔记

Hive多行转单列实现实现字符串的拼接函数:concat函数功能语法测试itcastAndhima特点:如果任意一个元素为null,结果就为nullnull​ 功能语法测试itcast-and-heima特点:任意一个元素不为null,结果就不为nullitcast-And功能语法测试[“a”,“a”,“a”,“b",“b”,“b”]功能语法测试[“b”,“a”]代码实现多列传多行union关键字功能语法

2022-10-20 20:06:07 1058

原创 正则表达式详细笔记和代码实例

限定符选择匹配符分组组合和方向引用符特殊字符定位符。

2022-10-20 19:58:48 144

原创 java反射基础知识与代码

当程序要使用某个类时,如果该类还未被加载到内存中,则系统会通过加载,连接,初始化三步来实现对这个类进行初始化。加载连接。

2022-10-18 13:02:47 85

原创 MySQL数据库

不是将表中所有数据都查询出来。是查询出来符合条件的语法格式select 字段 from 表名 where 条件;在实际的引用中,可能有这样的需求,需要先进行分组,然后对每一组的数据进行操作。这个时候我们需要使用分组查询,怎么进行分组查询呢?# 格式: select . . . from . . . group by . . .将之前的关键字全部组合在一起,来看一下他们的执行顺序?

2022-10-18 12:59:45 307

原创 Hive 3.x详细笔记

Hive多行转单列实现实现字符串的拼接函数:concat函数功能语法测试itcastAndhima特点:如果任意一个元素为null,结果就为nullnull​ 功能语法测试itcast-and-heima特点:任意一个元素不为null,结果就不为nullitcast-And功能语法测试[“a”,“a”,“a”,“b",“b”,“b”]功能语法测试[“b”,“a”]代码实现多列传多行union关键字功能语法

2022-10-18 12:56:18 1418 1

原创 Hadoop

HDFS优缺点1、高容错性数据自动保存多个副本,它通过增加副本的形式,提高容错性某一个副本丢失以后,它可以自动恢复2、适合处理大数据数据规模:能够处理数据规模达到GB、TB、甚至PB级别的数据;文件规模:能够处理百万规模以上的文件数量,数量相当之大3、可以构建在廉价的机器上,通过多副本机制,提高可靠性HDFS缺点1、不适合低延时数据访问,比如毫秒级的存在数据,是做不到的2、无法搞效的对大量小文件进行存储①存储大量小文件的话,它会占用NameNode大量的内存来存储文件目录和块信息。

2022-10-13 19:44:51 431

原创 mysql

select // 选择需要查询的...from // 所属表...where // 分组前过滤条件...group by // 分组...having // 分组后滤条件...order by // 排序...limit // 分页.../*执行顺序:1.from2.where4.having5.select7.limit..*/

2022-10-13 19:38:21 1005 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除