- 博客(70)
- 收藏
- 关注
RSS订阅原创 Spark操作 对json复杂和嵌套数据结构的操作
从Json取值-----get_json_object，to_json()将获取的数据转化为json格式，对嵌套结构的处理（样例类和炸裂函数使用来解决）。
2023-04-13 15:36:03
976
1
原创 scala函数式编程
目录不同范式对比：1.面向对象编程2.函数式编程2.1函数基本语法2.2函数和方法的区别核心概念： 2.3函数定义 2.4函数参数2.5 函数至简原则2.6.高阶函数 三.偏函数四.柯里化函数五.递归函数递归函数注意点： 六.控制抽象1.值调用，把计算后的值传递过去， 2.名调用，把代码传递过去，七.惰性加载面向对象和面向过程都是命令式编程，但是函数式编程不关心具体运行过程，而是关心数据之间的映射。纯粹的函数式编程语言中没有变量，所有量都是常量，计算过程就是不停的表达式求值的过程，每一段程序都有返回值。不关
2023-04-03 16:26:17
1493
3
原创 Scala变量和数据类型
变量：在程序执行过程中，其值可以被改变（var）常量：在程序执行的过程中，其值不会被改变的变量（val）回顾：java变量和常量语法变量类型 变量名称 = 初始值 int a=10final 常量类型 常量名称 = 初始值 final int b = 20。
2023-04-03 15:47:00
1168
原创 hive基础内容学习
注意：分桶只有动态分桶，必须使用INSERT方式加载数据Hive侧视图（Lateral View）与表生成函数结合使用，将函数的输入和输出连接OUTER关键字：即使output为空也会生成结果。
2023-02-22 22:39:18
1493
1
原创 hadoop学习
HDFS是google三大论文之一的GFS的开源实现，是一个高度容错性的系统，适合部署在廉价的机器上的，适合存储海量数据的分布式文件系统。在HDFS中，文件是分成以Block Size为大小的数据块存储的，每个Block默认大小为64M或128M（可调节），如果一个文件小于一个数据块的大小，并不会占用整个数据块存储空间。这些Block被复制为多个副本，被存放在不同的主机上，这也保证了HDFS的高容错性。Block是hdfs默认的最基本的存储单位。
2023-02-07 17:12:24
1030
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人