自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(139)
  • 收藏
  • 关注

原创 pgsql基础学习笔记

pgsql基础数据类型,数学函数,字符串函数,日期与时间函数以及操作符的基础

2024-07-23 20:45:21 1023

原创 FineReport--学习笔记

FIneReport基础知识与应用场景学习笔记

2024-07-17 21:13:25 868

原创 sql必会基础知识(复习版)

sql基础知识复习

2024-04-17 15:29:22 791

原创 Python代码操作ES

Elasticsearch准实时索引实现,python代码操作ES实现简单的增删改查,最后将数据从mysql通过sqoop导入hive,再从hive插入ES,简要代码实例

2024-01-25 20:43:26 723

原创 ElasticSearch介绍

elasticsearch的概念,读写原理,以及倒排索引介绍

2024-01-25 20:39:30 1305

原创 用户画像项目背景

用户画像项目背景,标签属性,体系介绍

2024-01-23 20:44:49 969

原创 Structured Streaming基础--学习笔记

Structured的基本使用,编程模型,数据处理,以及数据的输出指定

2024-01-22 20:47:21 1125

原创 kafka的基本使用--学习笔记

kafka基本使用,消息队列解释,以及使用kafka写入数据的方式

2024-01-22 20:42:29 1137

原创 SparkSession对象操作--学习笔记

各种格式的数据的读取和写入,UDAF,UDTF和UDF的注册以及使用

2024-01-17 16:38:43 747

原创 DataFrame的基本使用--学习笔记

dataFrame的基本使用,DSL方法和sql语句的方式解决需求的基本示例,以及内置函数字符串函数,日期时间函数,聚合函数的学习

2024-01-17 15:59:37 614

原创 spark中Rdd依赖和SparkSQL介绍--学习笔记

rdd依赖,spark运行流程,sparkShuffle过程,Spark并行度设置,spark调优,SparkSQL基础学习

2024-01-13 20:25:03 1171

原创 Spark中Rdd算子和Action算子--学习笔记

Spark中rdd算子filter,groupBy,groupByKey,join等的使用,Action算子的介绍以及使用,lambda表达式中if-elif-else判断四个条件

2024-01-12 21:01:35 453

原创 Hive命令调优大全

Hive命令调优大全,最近使用到了动态分区调优

2024-01-11 20:13:10 1109

原创 Spark指令参数,RDD--学习笔记

Spark指令参数,Rdd的创建,指定分区,map和flatMap算子

2024-01-11 20:04:18 788

原创 spark基础--学习笔记

spark基本概念,Spark的两种部署方式,开发方式local本地模式,standalone集群模式,yarn模式

2024-01-10 20:37:41 1193

原创 FineReport--学习笔记

FineReport基础学习(未完成)

2024-01-10 20:30:48 1180

原创 ETL项目最终脚本文件--学习笔记

ETL项目最终的一个将数据格式化处理后再输出的脚本

2024-01-09 21:16:30 475

原创 ETL项目工具类开发--学习笔记

ETL项目中工具类的编写

2024-01-09 21:15:35 388

原创 ETL项目实战--学习笔记

ETL基本介绍,各个模块介绍,和项目流程

2023-12-27 21:32:45 2008

原创 python高级(补充)

闭包,装饰器,语法糖写法,深浅拷贝,正则匹配

2023-12-27 20:57:48 535

原创 项目搭建中的mysql_rpt层,项目中遇到的code2问题

项目中rpt层导入rpt_mysql的语句,以及遇到的code2问题的解决,还有一些小问题的解决

2023-12-27 19:52:53 523 1

原创 dwb层,dm层和rpt层的增量脚本

项目开发代码,dwb层,dm层,rpt层

2023-12-27 19:40:15 449

原创 python面向对象--学习笔记

异常处理,面向对象基础,继承多态,类属性和实例属性

2023-12-27 15:20:49 1246

原创 python函数--学习笔记

python函数,参数类型,lambda表达式(匿名函数)的使用,以及文件的读写操作和备份

2023-12-27 14:40:47 1103

原创 python中的元组列表字典集合--学习笔记

python中的元组列表,字典,集合常用知识学习

2023-12-27 11:38:19 891

原创 分析项目需求后的ods层和dwd层建表和插入语句(全量脚本)

项目中ods层和dwd层的建表语句与数据插入语句

2023-12-16 21:00:14 220

原创 项目分析与项目分层设计的解释

项目进行需求分析的步骤,以及如何分层的原因

2023-12-16 20:34:52 158

原创 Oozie创建定时执行脚本

Oozie调度--创建定时执行的脚本

2023-12-06 20:26:18 103

原创 Oozie调度工具--一次性脚本文件的创建和执行

使用Oozie调度工具创建一次性可执行脚本

2023-12-06 17:17:39 206

原创 调优--学习笔记

Presto调优,运行时优化,map端预聚合等各种调优

2023-12-03 19:55:53 371

原创 Presto基础学习--学习笔记

数据库对比,presto简介,架构,使用场景,presto日期函数

2023-12-03 12:28:43 227

原创 大数据项目前三层--学习笔记

存储格式,ODS层,DWD层,DWB层的创建

2023-11-29 20:26:32 428

原创 大数据数据仓库,Sqoop--学习笔记

数据仓库,sqoop的基础知识

2023-11-26 12:25:04 690

原创 大数据项目--学习笔记

项目背景,基本信息,业务流程介绍

2023-11-26 11:18:48 208

原创 YARN,ZOOKEERPER--学习笔记

yarn,zookeeper基础知识

2023-11-19 19:05:06 292

原创 HDFS、MapReduce原理--学习笔记

HDFS,MapReduce原理,对于机制的详细解读

2023-11-19 18:05:46 384

原创 Hive调优

Hive调优,各种调优的方式

2023-11-19 16:45:08 1387

原创 Hive语法,函数--学习笔记

Hive语法,函数,排序分组分桶函数,Hive基础函数,高阶函数

2023-11-19 14:38:16 1629

原创 复杂类型,查询--学习笔记

复杂类型array,struct,map 以及基础查询语句

2023-11-19 13:19:35 138

原创 分组表,分桶表

分区表,分桶表的创建以及使用

2023-11-19 12:48:20 114

pythonETL工具

将json格式的商品数据,mysql数据库数据,以及log日志数据,这三种格式的数据进行格式化转换为可以存入mysql的sql语句,和csv备份文件

2024-01-13

php结课报告,会员注册管理系统

php结课报告,会员注册管理系统

2023-03-04

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除