a1迪三火-CSDN博客

原创【SparkSQL】DSL风格的API函数和SQL函数

1 、我们希望从外部读取一个结构化数据文件直接转为DataFrame，而不需要再转为RDD 2 、如果我们读取的不是一个结构化的文件，则我们可以先转为RDD，经过转换再转为DataFrame我们可以在分析完之后，将分析完的结果重新保存到某一个存储系统，比如本地或者hdfs系统1 、SparkSQL希望对Hive中已经表进行分析，底层使用Spark引擎 2 、Spark是通过读取Hive的元数据进行数据的读取，所以必须开启Hive的MetaStore服务。

2024-03-24 14:46:09 641

原创【SparkSQL】SparkSQL的UDF及分析

目标掌握SparkSQL中register方式定义UDF函数实施特点：最常用的方式，既能用于SQL中，也能用于DSL中语法UDF变量名 = spark.udf.register(UDF函数名, 函数的处理逻辑)定义：spark.udf.register()UDF变量名：DSL中调用UDF使用的UDF函数名：SQL中调用UDF使用需求原始数据：datas/udf/music.tsv01 周杰伦 150/17502 周杰 130/18503 周华健 148/178目标结果。

2024-03-24 14:34:12 1453

原创移动端控制pc端音乐软件的播放等功能（使用os，pyautogui，psutil三个模块实现）

该文章展示了通过移动端向pc端发送命令消息， python获取消息命令并做出相应操作，实现了对音乐软件的播放/暂停、切歌、音量加减、添加喜欢的操作。具体内容看代码及其注释。

2022-11-17 22:00:57 1549 1

原创 SQL基础操作

数据库的增删改查, DELETE, TRUNCATE, DROP 三种删除方式的区别

2022-09-21 20:48:00 1770

原创 python: 正则表达式

作用: 在一个大的字符串中查找符合某些特殊规则的小字符串特点: 可读性差, 但是通用性很强(很多编程语言通用)单词: regular expressionpython中的正则模块: re

2022-09-11 20:57:34 292

原创 python: 网络编程及fastapi快速搭建web服务器

FastAPI简介: 是一个用于构建 API 的现代、快速（高性能）的 web 框架，使用 Python 3.6+ 并基于标准的 Python 类型提示。FastAPI 框架关键特性: 高性能，易于学习，高效编码，生产可用uvicorn: 异步服务器,用于配合fastapi框架一起快速搭建web服务器

2022-09-07 21:37:39 3103 3