qq_31454379的博客

文章目录scala语言下使用protobuf协议解析数据背景存在的问题解决pom文件proto文件生成源码scala语言下使用protobuf协议解析数据背景kafka数据源是protobuf格式，需要反序列化，并取出相关字段。已有xxx.proto文件，需要生成解析类。存在的问题protoc命令行，不支持直接生成scala文件网上寻找工具，转了一圈各大论坛，基本都是 先生成 java文件，然后再scala里面引用，这样不符合需求，不愿仅仅因为解析protobuf而引入java语言

本地环境准备必备环境spark源码导入IDE安装必备ide插件IDE配置默认maven环境项目配置jdk项目增加scala支持项目切换3.2分支编译源码运行测试类必备环境IDE ideaIU-2021.3.2安装jdk并配置环境变量maven安装，并配置环境变量spark源码导入IDEhttps://github.com/apache/sparkgit clone https://github.com/apache/sparkcd spark## 这里主要以3.2分支为主，比较稳

StreamX1.2.1+flink1.12.7 平台部署1. 必须环境准备StreamX最新版本1.2.1支持用户上传jar包的方式运行代码，目前支持flink版本为1.12以上前后端混合编译得到StreamX最新安装包 streamx-console-service-1.2.1-bin.tar.gzhadoop环境准备flink安装包准备，本例使用flink1.12.7 https://dlcdn.apache.org/flink/flink-1.12.7/flink-1.12.7-bin-

StreamX1.2.1+flink1.12.7 平台部署1. 必须环境准备StreamX最新版本1.2.1支持用户上传jar包的方式运行代码，目前支持flink版本为1.12以上前后端混合编译得到StreamX最新安装包 streamx-console-service-1.2.1-bin.tar.gzhadoop环境准备flink安装包准备，本例使用flink1.12.7 https://dlcdn.apache.org/flink/flink-1.12.7/flink-1.12.7-bin-

文章目录问题思考？官网解析源码走读动手写个任务提交demo回归问题结论问题思考？官网解析源码走读动手写个任务提交demo回归问题结论

文章目录背景1. 表名大小写 实践通过impala 建表 `AbTest_log`查询测试写入测试2. 字段名大小写 实践3. 结论背景表DDL语句通过impala进行，比如建表，新增列等等表数据插入通过kudu client客户端进行数据插入问题： 当表名有大小写，或者属性名有大小写的时候，有的数据不能插入的情况1. 表名大小写 实践通过impala 建表 AbTest_log通过impala查询，表名是小写 abtest_log通过kudu客户端查询，表名是AbTest_log

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

报错内容如下：关键词：Failed to write at least 1000 rows to KuduNot found: ([0x0000000081346280, 0x00000001813461CC))Not found: ([0x0000000081346280, 0x00000001813461CC))Not found: ([0x0000000081346280, 0x00000001813461CC))Not found: ([0x0000000081346280, 0x00000

文章目录Sentry安装部署添加Sentry服务定义角色分配节点配置数据库完成服务添加Sentry与Hive/Impala集成取消HiveServer2用户模拟确保hive用户能够提交MR任务配置Hive使用Sentry配置Impala使用Sentry配置HDFS权限与Sentry同步Sentry授权HUE授权配置命令行权限配置Sentry安装部署添加Sentry服务定义角色分配节点配置数据库完成服务添加服务启动失败的话可以排查： cdh6.3.2添加sentry服务启动失败排查Sen

报错信息关键词：Could not create org.apache.sentry.provider.db.service.persistent.SentryStorejava.sql.SQLException: Column name pattern can not be NULL or empty.Exception in thread "main" java.lang.IllegalStateException: Could not create org.apache.sentry.pro

目录spark任务submit后运行一段时间输出日志sparkui上看到失败task输出日志问题定位spark任务submit后运行一段时间输出日志Delayed: (UNKNOWN, [ Write, 21 ]))}Timed out: cannot complete before timeout: Batch{operations=256, tablet="4a02e65bac264694b14faeee40998735" [0x00000002, 0x00000003), ignoredError

异常背景jdk1.8中支持接口定义default方法与static静态方法，我的项目中两者都有使用场景，项目在ide本地运行没有问题，但是执行 maven 打包 maven assembly:assembly报错如下：原因分析与解决因为scala的编译插件，检测到java接口内的静态方法不是以“ ；”结束，所以报错，但是显然这是不正确的，所以需要加上以下配置，排除scala插件干扰 .java文件的编译。顺便一提： 如果你遇到的是编译打包没有把scala代码打包进去，也是这两个插件没有配置好。

目录一：环境准备二：下载安装包1. Flink-shaded包2. flink1.10.2 源码包3. maven配置文件三：编译flink-shaded版本1. 解压tar包2. 解压文件后目录结构3. 修改pom文件4. 开始编译四：编译Flink1.10.2源码1. 解压tar包2. 执行编译3. 等待编译成功4. 打包编译好的文件五：制作parcel包1. 下载git开源制作parcel包的项目2. 修改配置文件 flink-parcel.properties3. 赋予build.sh文件执行权限4

现象描述这个任务已经执行完毕，但是任务状态一致是running导致队列资源没有释放由于是测试服务器，队列资源较少，导致后面任务阻塞。原因：spark on hive本质是spark-shell.sh，spark-shell.sh会一直占用进程，这样后面提交的hive on spark任务就不需要重复上传spark依赖，加速任务执行速度解决方法：如果是hive命令行客户端提交的job，退出hive命令行，资源自动释放如果是脚本提交的job，最好在脚本末尾加入 !quit 主动释放资源..