Interest1_wyt-CSDN博客

HiveMetaStore: Not authorized to make the get_current_notificationEventId call.You can try to disable metastore.metastore.event.db.notification.api.authMetaException: User work is not allowed to perform this API call.

2023-06-04 09:08:36 922

原创 spark sql（四）物理计划解析

spark sql物理计划执行流程解析

2023-05-28 10:38:50 1139

原创 spark sql（七）源码解析 - sparksql什么时候将时间类型转换成整型或者长整型，又是什么时候将整型或长整型转为时间类型？

sparksql什么时候将时间类型转换成整型或者长整型，又是什么时候将整型或长整型转为时间类型？

2023-04-02 13:48:26 624 1

原创 spark sql（六）sparksql自定义数据源

sparksql通过DataSourceRegister查找规则实现自定义hbase数据源

2023-03-19 00:49:28 1471

原创 hbase regionserver与hbck端口冲突

hbase regionserver与hbck端口冲突问题定位和解决

2023-03-04 11:46:31 401

原创 spark sql（五）sparksql支持查询哪些数据源，查询hive与查询mysql的区别

sparksql支持查询的数据源类型，以及查询mysql和查询hive的源码过程简析

2023-03-04 11:10:44 2891 1

原创 spark sql（三）逻辑计划解析(analyzer)

简单探究spark sql中analyzer解析库表的源码

2023-03-04 11:10:08 754

原创 spark sql（二）sql解析流程扩展

spark sql大体在四个阶段提供了扩展能力，分别是未解析的逻辑计划、解析后的逻辑计划、优化后的逻辑计划、物理计划。在这四个阶段后面我们都可以引入自己的处理逻辑。

2023-03-04 11:09:27 705

原创 spark sql（一）源码分析sql解析流程

spark sql解析sql主要基于Catalyst框架，它将复杂的sql解析分为很多的阶段，如未解析的逻辑计划、解析后的逻辑计划、优化后的计划、物理计划等阶段，且每个阶段都有专门的工具类进行处理。

2023-03-04 11:08:49 1206

原创 spark sql（零）总体介绍

spark sql整体功能以及源码流程和功能扩展介绍

2023-03-04 11:06:22 606

原创 java嵌入式安装

通过jar包实现软件的一键安装部署

2023-02-18 13:09:58 475

原创 hdfs（二）高可用单NameNode从standby恢复为active

将高可用hdfs ha降为单namenode可行。如果两个namenode有一个不能用了，紧急情况下就可以通过修改配置的方式将hdfs降低为单namenode的集群继续进行工作。

2023-01-22 18:50:45 2142 1

原创 hdfs（一）高可用单NameNode从standby恢复为active

hdfs ha集群中，通过新增namenode节点解决单namenode损坏导致集群处于standby状态问题

2023-01-22 16:45:40 1652

原创 hive（二）表 desc 描述元信息获取（java hive jdbc）

java hive jdbc一次性获取hive表数据在hdfs中的location位置、或者获取hive的文件存储格式、使用的压缩算法，甚至是表中的字段类型、字段注释、字段约束、表中是否有数据、数据大小、文件数等信息。

2022-12-09 21:44:51 4122 1

原创 hue（一）编译、启动、使用

hue编译了解、踩坑识别

2022-11-20 17:31:40 2466

原创 doris（一）单节点部署

doris单节点FE BE快速部署

2022-10-16 11:06:17 3675 1

原创 sparksql（一） insertinto 源码解析

sparksql insertinto 源码解析

2022-09-03 17:24:10 3636

原创 spark源码（七）RDD cache、persist、checkpoint功能区别和源码解析

RDD cache、persist、checkpoint功能区别和源码解析

2022-07-17 21:10:56 884 3

原创 kylin（五）开启dashboard监控面板

kylin开启dashboard监控面板和相关的度量监控数据

2022-07-16 20:12:04 1086 1

原创 druid + presto报错：java.sql.SQLFeatureNotSupportedException: Batches not supported

druid + presto报错：java.sql.SQLFeatureNotSupportedException: Batches not supported

2022-07-16 07:20:21 963

原创 spark源码（六）spark如何通过BlockManager控制数据的读写

BlockManager三大读写模块：MemoryStore：负责内存数据的读写；DiskStore：负责磁盘数据的读写；BlockTransferService：负责远程数据的读写

2022-07-11 22:36:06 1367

原创 spark源码（零）阅读总纲

系统了解spark任务的提交，driver、application的调度与注册，资源的分配，executor的创建，job到stage再到task的切分过程，hdfs文件数据的读写操作，RDD本身的map reduce操作，持久化、check point的高可靠性容错性的实现等。............

2022-06-25 11:03:20 584

原创 spark源码（五）DAGScheduler TaskScheduler如何配合提交任务，application、job、stage、taskset、task对应关系是什么？

DAGScheduler TaskScheduler如何配合提交任务，各个阶段如何划分？一个application可能有多个job提交，因为每个行为算子都调用runjob方法，即都对应一次job任务提交一个job可能有多个stage，划分依据主要是RDD是不是出现了shuffle，即每个宽依赖都会导致新stage的生成。一个stage对应一个taskset，且为stage中每个分区创建一个task任务。askset包含一组task，每个task执行逻辑相同，主要是面向stage不同的分区...

2022-06-25 10:58:49 458