- 博客(239)
- 资源 (21)
- 收藏
- 关注
RSS订阅原创 DataX自动化生成配置json,创建ODS表,多线程调度脚本[mysql--＞hive]
结合Dolphinscheduler,自动化生成datax抽取任务json文件,自动化创建ods表,自动化多线程执行任务,支持创建hive分区表,自动创建分区,修复分区,支持kerberos认证,mysql多库多表配置
2024-04-15 11:22:26
567
2
原创 Conda 安装Jupyter：使用Pyhive（Kerberos）
jupyter notebook部署的服务器为集群已配置Kerberos认证的服务器，否则需要配置客户端认证。
2023-11-30 15:52:03
355
原创 Linux使用systemd自定义服务
环境变量不可用,需配置,创建环境文件,使用下面格式,无需在service文件中指定路径。重新加载启动,开机启动。启动失败,排查问题命令。
2023-10-17 17:19:31
201
原创 Idea调试Kerberos登录报错
3.loginUserFromKeytab方法的顺序与FileSystem.get的顺序,应先登录后获取filesystem(获取时不会报错kerberos权限问题)1.hadoop版本问题,保持集群版本一致。
2023-07-20 11:21:57
222
原创 MIT Kerberos客户端(windows)启动无反应,重装无效问题解决
MIT Kerberos客户端突然无法启动,重装软件无效,诊断启动无效,管理员权限启动无效找一台电脑,安装,什么都不配置,启动正常~
2023-07-20 09:35:40
243
原创 Hive实现指定日期区间的数据生成
space(n:int): 生成n个空格,使用split分割成数组,然后使用posexplode展开为每行为pos,val的表。另附stack(col_num,...)函数用于行转列,例如生成2行数据。需求:生成2022-01到当前月份的所有日期生成,后续填充数据。6(字段参数)/3(列)=2(行)
2023-06-05 10:13:45
433
原创 解决DolphinScheduler配置Kerberos过期问题(无效,请看完结版)
DolphinScheduler除了kerberos.expire.time注释掉,其他正常配置,定时更新ticket在20点,几乎没有任务运行,klist中renew until 2023-06-01T20:00:01,之前失效的都是整点无法自动续期时renew until时间固定不变,自动续期时renew until每天更新。
2023-05-26 16:59:57
1357
6
原创 DolphinScheduler启用Kerberos(亲测)
开启Kerberos时使用DolphinScheduler添加Hive数据源日志报错Peer indicated failure: Unsupported mechanism type PLAIN,在github的issue上有人说是bug,所以我手动编译3.1.4版本,问题依然存在,最终确定是依赖问题,下面附解决方法。kerberos命名规则,用户/主机@Realm,使用keytab,原来的密码失效(创建keytab可添加密码不失效参数-norandkey),一个用户可以访问所有服务。
2023-03-07 11:30:36
1135
3
原创 Navicate模型文件(ndm2)解析成易读json
Navicate的模型文件ndm2文件本身就是json文件,以下方法主要是提取模型的schema及表字段和关联关系json。
2023-02-23 09:50:52
1472
原创 Win10搭建Pyspark2.4.4+Pycharm开发环境(亲测可用)
Win10搭建Pyspark2.4.4+Pycharm开发环境(亲测可用),包含常见问题及解决方法
2023-02-18 11:58:21
1083
原创 记录:FINEBI整合Kylin4查询无数据异常问题
问题描述:kylin开启数据下压,select * 查询正常返回数据,finebi sql数据集查询无数据,使用字段查询,部分字段能正常查询返回数据,但加上部分字段后,查询返回无数据,未报错
2023-02-01 16:27:35
212
原创 CDH6.3.2+Spark2.4.7+Kylin4.0.0魔改适配
CDH6.3.2+Kylin4.0.0实现Kylin的query,build使用Yarn-Client模式
2023-01-19 16:25:01
1057
原创 CDH6.3.2 Spark ON Yarn配置使用
CDH6.3.2 Spark ON Yarn配置使用,包含打包依赖分离,spark-submit的local模式,yarn的client,cluster模式的配置
2023-01-13 15:59:54
601
原创 CDH6.3.2整合DolphinScheduler3.0.0
CDH6.3.2整合DolphinScheduler3.0.0测试通过,正常启动
2023-01-05 17:55:11
2550
4
原创 Hive表Parquet格式:sql执行报错
Hive表Parquet格式:sql执行报错:UnsupportedOperationException
2022-09-29 16:19:33
1088
原创 Spark Upsert写入Mysql(scala增强) 无需依赖
Spark Upsert写入Mysql,scala增强,无入侵,无依赖第三方,做了简化合并,反射做了处理,spark2.4.xscala2.11可用。
2022-07-21 11:06:02
1095
1
原创 JS模拟input输入并触发事件
原生js模拟输入input内容,并触发搜索事件实现:document.querySelector('input').dispatchEvent(new InputEvent("input")
2022-06-10 18:32:22
7846
原创 Hive Schema导出Mysql建表语句
val fileSystem=FileSystem.get(new Configuration())def mysqlType(col: String): String = { col.toLowerCase() match { case "bigint" => "bigint(50)" case "tinyint" => "tinyint(1)" case "smallint" => "smallint(5)" case "d.
2022-05-19 16:46:39
554
原创 Spark保存Parquet数据,自动转换成目标表数据类型
/** * 列名根据索引位置自动重命名,同名不同数据类型,自动强制转换类型 * * @param df 源dataframe * @param sqlName 目标表名 * @return 转换后的dataframe */ def castDf(df: DataFrame, sqlName: String): DataFrame = { val targetSql: String = s"select * from ${sqlName} lim...
2022-05-19 11:32:25
549
原创 tampermonkey自动化学习（持续更新~）
官网插件下载安装// ==UserScript==// @name New Userscript// @namespace http://tampermonkey.net/// @version 0.1// @description try to take over the world!// @author You// @match https://www.baidu.com/*// @icon https:
2022-05-12 21:58:43
2840
1
原创 解决Vue中使用vuex时,数据为{__ob__：observer}问题
//属性const state = { serviceTags: [] }//读属性const getters = { getTags: state => { return JSON.parse(state.serviceTags) },}//同步写属性const mutations = { updateTags(state, newVal) { state.serviceTags = JSON.stringify(newVal) },}//异步写属性.
2022-05-07 18:23:19
1395
1
原创 Kylin构建Cube,突然一直构建失败(return code 2；state=08S01,code=2)
问题描述build日志的第一步就失败了报错信息:java.io.IOException: OS command error exit with return code: 2, error message: ls: cannot access /opt/odeon/hive/client/apache-hive-2.0.1-bin/lib/hive-jdbc-*-standalone.jar: No such file or directoryError: Error while proc
2022-04-20 10:31:18
3079
原创 常用docker命令
部署redis并设置密码docker run -d --name redis -p 6379:6379 redis --requirepass "123456"docker导入导出#docker save > 文件名 （name:tag）docker save > mysql5.7.32.tar mysql:5.7.32#docker load < 文件名docker load > mysql5.7.32.tardocker创建nginx并设置默认目录映射
2022-01-24 17:20:58
1916
原创 Elasticsearch X-pack证书过期解决方法
目录证书未过期重新编译破解x-pack-5.6.2.jar重启Es服务证书已过期重新生成x-pack-5.6.2.jar,步骤同上创建license.jsonlicense.json目录下注册证书验证成功证书未过期重新编译破解x-pack-5.6.2.jarversion="5.6.2"cd /app/soft/es/elasticsearch-${version}/plugins/x-pack/mkdir tmpcp -rf x-pack-${ve
2022-01-13 17:38:38
1818
原创 删除target文件夹--删除目录下面所有特定文件夹（python3）
python3代码del.pyimport os, sys, pathlib, shutilroot_path = r"D:\xx\Projects"del_dir_name="target"def recursion(path): for dir in os.listdir(path): tmp = os.path.join(path, dir) if os.path.isdir(tmp): if dir == del_
2022-01-12 17:17:13
724
原创 Hadoop HA高可用故障转移（hdfs+yarn）
常用集群搭建脚本xsync.sh 文件或文件夹同步xcall.sh 在所有集群节点执行命令xnode.sh 在非master节点执行命令将脚本放在/usr/bin/或创建软连接 并授予执行权限HDFS HA配置文件core-site.xml<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</v..
2022-01-03 23:21:48
933
原创 Sql进阶用法（分组排序|级联删除）
开窗函数，分组排序rank() over(partition by [field] order by [field] [asc/desc]) --同排名不连续 1 1 3row_number() over(partition by [field] order by [field] [asc/desc]) --不同排名 1 2 3dense () over(partition by [field] order by [field] [asc/desc]) .
2021-12-26 19:20:49
1388
原创 Mysql存储过程笔记(一)
学习使用基本用法DELIMITER $$create PROCEDURE get_delivery(IN p_id VARCHAR(32))BEGINSELECT order_id,count(0)=sum(is_delivery) as delivery into @order_id, @is_delivery from user_order_goods where id=p_id;update user_order set `status`=(select @is_delivery) WH
2021-12-20 16:49:09
326
原创 WebStorm+Vue-cli 配置alias 点击跳转无效问题
尝试方法 查看vue-cli版本，不同版本配置文件不同 使用vue inspect检查，搜索alias查看路径映射 使用console.log打印日志，确保vue.config.js正确加载运行 可以直接添加测试，是否可以跳转 Vue-cli4.x成功解决，vue.config.js如下/** * vue-cli 打包配置文件 * vue.config.js */const resolve = dir => require('path')..
2021-12-08 16:39:37
1709
bat脚本参数传递，实现java -jar apktool.jar -version可以使用apktool -version代替
2022-01-20
phoenix-4.14.0-cdh5.14.2-client.jar
2019-12-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人