weixin_39768191的博客

原创 idea创建自定义maven spark scala archetype脚手架，idea我让你转啊转，NND，自己造

在执行上面命令之前最好把一些不需要的文件删掉，这个完全看个人需要哪些，不需要哪些，之后最好建一个测试的main，测试一下编译打包运行是不是都行，可以的话再进行下边的install。，如果已经install了，那么删除Maven对应的文件夹就行，之后删掉项目里自己不需要的文件，maven clean后，再进行下边的install就行。三：生成的archetype在此路径下：target\generated-sources。五：之后建立新的项目或者module时按照如下操作。之后就有自己新建的脚手架了。

原创 flink1.13.0指定hive方言后就会报错，hive为3.1.2

经过一顿查询才知道为flink1.3.0的bug。改成1.3.2版本才行 或1.4的。

原创 Flink sql奇葩变量引入问题Caused by: org.apache.flink.sql.parser.impl.ParseException: Encountered “user“

网上一大堆关键字问题，根本不是什么flink关键字冲突的问题，加反点也照样不行，尝试了各种姿势后，才想起其实还有变量引入的方法，下边的才是标准写法，但我就是不知道为什么讲师课件里的就能正常运行上边拼接的写法。报错Caused by: org.apache.flink.sql.parser.impl.ParseException: Encountered "user" at line 1, column 43.

原创 解决mac端VLC媒体库拖入具有多个文件的N多视频后就会卡死，或者cpu占用颇高的问题

解决mac端VLC媒体库拖入具有多个文件的N多视频后就会卡死，或者cpu占用颇高的问题

原创 记一次查询端口占用被哪个程序占用

linux查询端口占用

原创 记录处理sqlserver [SQL Server]在将 varchar 值 ‘16.55‘ 转换成数据类型 int 时失败的问题。

报错>[22018] [Microsoft][SQL Server Native Client 10.0][SQL Server]在将 varchar 值 '16.55' 转换成数据类型 int 时失败。 (245)cast( case when patindex('%[^0-9|.|+]%',ltrim(rtrim(opelngm))) != 0 or opelngm is null ...

原创 spark向es写入时间类型的数据报错is too short

问题如题，且es存储的时间字段的类型为DATETIME类型解决办法sparksql或者其他办法格式化一下时间为”.0“的就行date_format(s_last_updatetime,'yyyy-MM-dd HH:mm:ss.0') as s_last_updatetime

原创 flink watermark（水位线）的实战理解

注意，窗口是窗口，水位线是水位线，窗口会按照程序设计自动划分出来，不会被水位线影响到，水位线能影响到的只是窗口里的数据计算的触发点，也就是延迟窗口的右界线。废话不多说，上代码，我这里有详细注释哦！如果有问题，请指正。package windowimport org.apache.flink.streaming.api.TimeCharacteristicimport org.apache.flink.streaming.api.functions.timestamps.BoundedOu

原创 vscode状态栏显示统计所选行数的插件

插件名字：Select Line Status Bar

原创 记一次springboot调用sparkLauncher连接不上yarn ResourceManager的问题

web任务启动后，代码开始调用sparkLauncher启动事先编译好的jar，但是会发现作业一直不启动，一直在retry ResourceManager13/12/14 20:12:06 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:803213/12/14 20:12:07 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Alread.

原创 关于scala项目内java的引用与打包

新建一个Scala项目-->新建一个文件夹java-->将其引为source-->在java内建立一个package-->新建自己想要用的java类就可以了，我这一般是那同事写好的java类然后引用【狗头】至此完毕，如有误请指正，反正我这是可以了pom中的关键部分：<!--<sourceDirectory>src/main/scala</sourceDirectory><testSourceDirectory>src..

原创 关于docker 容器内的服务访问宿主机的mysql连接不上的问题

关于docker 容器内的服务访问宿主机的mysql连接不上的问题我目前只把jdbc的URL中的ip改为宿主机的就可以了，就相当于是容器内远程登录到mysql。

原创 java.lang.NoSuchMethodError: org.apache.hadoop.fs.FileSystem。。。。()J

在使用Java操作sparksql时如果并引入Hadoop的依赖会报错如下java.lang.NoSuchMethodError: org.apache.hadoop.fs.FileSystem$Statistics$StatisticsData.getBytesReadErasureCoded()J完成pom如下<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache..

原创 scala获取对象全部属性名,包括所有父类属性名,将其拼接成一个大字符串

def getAllSupperClassFields[T](t : Class[T]): String = { val arrayBuffer = new ArrayBuffer[String]() var clazz: Class[_ >: T] = t while (clazz != null) { val fields: Array[Field] = clazz.getDeclaredFields() val strings: Array[String] = fi.

原创 scala解析linux crontab类型的时间，返回一个对应其含义的时间数组。

如果有错误，或者有可以改进的地方，请指出????/** * 获取linux crontab类型的时间，返回一个对应其含义的时间数组 *数据样例 val timestr = """*;7,8-10,23;1,3-5,6;*""" 工作需要，我这只配置了时日月周 * @param crontabStr */ def parseCrontabTime(crontabStr: String): ArrayBuffer[String] = { val arrayBu

原创 hbase表命名空间的变换，或者更换表名

目标：将test2表 从test命名空间->frf命名空间1 为了防止表不再被操作disable 'test:test2'2 做一个快照(快照名字不用命名空间)snapshot 'test:test2','test2Snapshot'3 克隆快照到新的命名空间,test2也可以起别的名字关键在于frf:test2的切换clone_snapshot...

原创 Scala版3des加密算法，用来实现对数据库配置文件的用户名密码加密。

Scala版3des加密算法，用来实现对数据库配置文件的用户名密码加密。资源链接后续释放

原创 hive获取某一字段内某一字段值中某一字符串第一次出现的索引位置

select INSTR('aaab','a'); 结果1select INSTR('aaba','b'); 结果3

转载 yarn-client与yarn-cluster模式的区别

原创 spark，以yarn-cluster模式提交作业，作业总是执行两次。

原因在于System.exit(0)的不正常应用，导致在以yarn-cluster模式提交时。cluster模式不支持shell，所以当执行到System.exit(0)，程序开始报错，然后集群会按照yarn设定好的AM重启次数（在CDH的yarn配置板块中搜索application即可看到次数设置），重新运行，而且如果程序没有错的话，结果就没有错，这样就很难发现错误了。object App...

原创 idea启动速度加快配置内存16g的机器

-Xms2048m-Xmx2048m-Xss16m-XX:NewRatio=3-XX:ReservedCodeCacheSize=500m-XX:+UseConcMarkSweepGC-XX:SoftRefLRUPolicyMSPerMB=50-XX:+CMSParallelRemarkEnabled-XX:ConcGCThreads=4-XX:+AlwaysPreTouch-...

原创 win10下安装Hadoop3.0.0后Caused by: java.net.ConnectException: Connection refused: no further information

在使用hdfs的api设置路径时一定要查看core-site.xml配置文件中的fs.defaultFS标签中的写法是否与你当前的val path = "hdfs://localhost:9000/tmp/frf/pScheduleSparkSqls"中的主机名以及端口号是否一致，否则就会报错Caused by: java.net.ConnectException: Connection...

原创 hive 2.1.1新版regexp用法

select 字段 regexp ‘正则’ ；

原创 使用正则清洗hive字段中的脏数据

本文章如果有误请指正，而且我的正则都是自己研究+百度，如果有更好的办法，请赐教，O(∩_∩)O哈哈~数据情况 取数规则1 英文+汉字 取出汉字2 英文...

原创 关于sqoop 从mysql导出数据到hive datetime类型后多了个'.0' 的问题

将MySQL datetime类型的数据，在创建hive表时，创建为timestamp类型就可以了。hive支持的时间数据类型可以为String，date，timestamp。但是String类型的的有'.0'的问题,date有null，不识别的问题，timestamp就正常了，原因我就不清楚了。希望知道的人，请赐教。有不对的地方，谢谢指出(*^_^*)。  ...

原创 用sparkSql计算留存用户

测试数据channel1    appkey1    2018-12-03 16:47:38:000    6.6.6    android    1    startApp    msgsssssssss    page3    1542358058000    1542358058000    1channel1    appkey1    2018-12-03 16:47:38:000...