工作中问题
菜鸟也有梦想啊
这个作者很懒,什么都没留下…
展开
-
关于gitlab api的一点使用,以及简单的gitlab工具类
工作中难免需要使用gitlab api来完成某些任务,现在写点这几天对gitlab api的一点使用心得。 公司有实时计算平台,上面的文件是保存git中,但是平台需要进行版本控制,也就是需要回滚、对比等操作,单纯的使用git命令,底层调用Linux命令太麻烦,比如需要回滚到某文件的某个commitID,需要使用git log filename拿到commitid,然后git reset 也好,其余git命令也好,完成后也只是在本地完成,还需要push上去,当然,每次操作前也需要先pull...原创 2020-11-13 17:00:54 · 2294 阅读 · 2 评论 -
用Python脚本扫码hdfs、oss中是否生成文件并钉钉报警最终版
其实之前的两个都存在一些问题,经过一天的思考,决定还是从数据库中读取到path和topic信息,进行处理,之前的钉钉报警也只是检查了最后一次生成文件的时间是否符合我们的预期,现在进行进一步的完善,得到如下代码并完成这个需求。# -*- coding: utf-8 -*-import sysfrom commands import *import datetimeimport pymysqlimport functoolsimport requestspt = datetime.dat原创 2020-09-27 20:57:47 · 222 阅读 · 0 评论 -
用Python脚本扫码hdfs、oss中是否生成文件并钉钉报警
之前的需求有点变化,需要读取topic后去生成自动运行监测的脚本,因此需要监测两小时的数据,同时出现问题还需要钉钉报警。思路,在数据库中添加一个字段,isMonitor,1表示监控状态,0表示未监控状态。从库中读出所有的topic,将他们按照“,”分割去处理,path直接到代码中写死,因为我们使用的表的格式比较像,当然也可以直接从数据库中读取path# -*- coding: utf-8 -*-import sysfrom commands import *import datetime原创 2020-09-27 13:23:56 · 255 阅读 · 0 评论 -
用Python脚本扫码hdfs、oss中是否生成文件
现在有一个需求,公司每天会将从各个渠道,比如kafka或者sls中的数据和日志定期一小时存放在hdfs或者oss中,但是不能每一次间隔一小时都去使用命令去查看是否生成文件。现在需要写一个脚本去扫描,但是因为数据库表中的topic不是一个,而是一个topic.list,存放的路径也各不相同,但是基本路径时候一致的,因此在建表的时候使用基本路径+标识符去建表,在脚本中将标识符替代。基本路径:hdfs://aaa/bbb/ccc/log/topic_name/pttopic_name就是当前扫描的top原创 2020-09-24 11:45:25 · 303 阅读 · 0 评论 -
spring boot jpa 中Error executing DDL via JDBC Statement
除了网上的改MySQL方言外,还要注意报错的那张表中的字段是否使用了数据库保留字段,比如:desc,insert这类,同样会报这个错误,解决方法就是将字段名更改,不要使用数据库中的保留字段。原创 2020-07-27 13:59:54 · 1117 阅读 · 0 评论 -
flinl使用scala读取SLS中的数据过程问题(scala与Java互通问题)
在读取阿里的SLS数据中,得到了类似kafka的数据,在使用scala进行开发过程中,获取文本中字段失败,找不到方法,最终排除发下是SLS原生是Java编写,在处理中使用scala开发过程中要注意scala不是完全可以直接使用Java的基本数据类型,需要引入import scala.collection.JavaConverters._进行转换,使用asScala方法将原生Java改为scala 问题得到解决。一定是import scala.collection.JavaConvert原创 2020-07-16 16:48:05 · 185 阅读 · 0 评论