FleeyCui-CSDN博客

原创 python实现钉钉群报警(数仓和数据库数据条数校验)

一. 钉钉机器人创建登录钉钉客户端,创建一个群,把需要收到报警信息的人员都拉到这个群内.然后点击群右上角的"智能群助手"->“添加机器人”->“自定义”,记录该机器人的webhook值安全设置必须选一个，选择自定义关键词，在这里我定义的是"数仓报警"，后面凡是包含有数仓告警这四个字的都会触发点击完成之后会生成类似下面的连接https://oapi.dingtalk.com/robot/send?access_token=8793e3f4bb1f7844d64327e3505778d7ec

2021-10-12 15:19:00 1000 1

原创 hive查询数据时列数据错乱和错位

今天在hive里查数据的时候发现一个有趣的问题：先上sq:SELECT DISTINCT a.mobile, concat_ws('#','8',cast(22222 AS string )) AS extend, 10 AS batchNo, 0 AS sendNo, SUBSTR( IF ( d.wechat_name IS NULL, d.learn_number, d.wechat_name ), 1, 5 ) AS wechatName FROM ods_kcl_mobil

2021-02-03 17:50:14 3098

原创 Linux环境利用QQ邮箱实现监控Spark任务是否失败并发送消息

为了实时监控在yarn上运行的spark任务是否还在正常运行，就想着写一个监控脚本，当spark任务挂了的时候可以发送邮件一、安装和配置系统的mailx运行命令：yum -y install mailx安装完成后，编辑/etc/mail.rc文件配置mailx使用QQ邮箱作为发送邮箱如果使用阿里云的话，因为阿里云ECS封禁了25 端口，所以我们只能使用TLS方式（TSL也就是使用SSL加密的方式，使用465或者其他端口来发送邮件）绕过25端口需求来发送邮件，所以必须先获得邮箱的.

2021-01-15 16:35:55 551

原创 Kafka可视化客户端工具kafka tool的使用

1.下载地址：http://www.kafkatool.com/download.html选择对应kafka版本的下载即可。2.傻瓜式安装，点击exe执行即可3.配置kafka3.1 File=>Add New Connection自定义集群名，kafka版本，zk地址和端口号3.2.选择安全认证模式3.3Advanced配置bootstap servers地址以及 SASL Mechanism3.4 配置kafka的安全认证的用户名和密码（注意不要忘记最.

2021-01-15 14:28:00 1005

原创集群安装免密和分发配置脚本

1.集群配置免密登录：配置ssh免密登录（假设有三台机器）[root@hadoop101 ~]# vim /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.1.101 hadoop101...

2020-12-08 13:24:38 160

原创 HDFS误删数据如何恢复

今天在用linux命令查询hdfs数据时。因为之前刚把测试环境删除，所以执行了hadoop fs -rm -r /warehouse/hdw/ods/ods_tbl_et_live_message_log_test接下来准备去查询正式表的时候，把test去掉之后就直接执行了。整个目录都被我干掉了。。。。心慌一下忽然想起来可以恢复，感觉去操作了一波，但是要引以为戒。。接下来上正事：HDFS 为我们提供了垃圾箱的功能，也就是当我们执行hadoop fs -rm -r xxx命令之后，文件...

2020-10-27 14:55:31 1739 2

原创 HIVE修复分区或恢复外部表数据

外部表删除之后。新建外部表，需要把原来的数据导入到hive表中，可执行：msck repair table aggr_wide_user_behavior_detail;

2020-10-20 14:53:20 1283

原创 [Mysql]多行数据合并成一行数据——max和min函数

今天遇到一个问题，在求数据时只想要少数条数据，发现条数特别多，并且很多是错列分布的。想要合并到一起，发现max和min函数的强大。上图：原始sql:SELECT a.customer_id,#学员id DATE(f.learn_start_date),#开课时间 a.created_time,#报名时间 a.add_group_time,#入群时间 a.leave_group_time,#退群时间 CASE e.subscribe WHEN 1 AND e.created_tim

2020-09-29 21:13:36 704

原创【spark-yarn】异常处理java.util.concurrent.TimeoutException: Futures timed out after [100000 milliseconds]

20/09/22 22:09:11 ERROR ApplicationMaster: Uncaught exception: java.util.concurrent.TimeoutException: Futures timed out after [100000 milliseconds] at scala.concurrent.impl.Promise$DefaultPromise.ready(Promise.scala:219) at scala.concurrent.impl.Promis.

2020-09-23 10:35:16 1978

原创 [scala]自定义时间工具类

import java.text.SimpleDateFormatimport java.util.{Calendar, Date}import org.joda.time.DateTimeobject DateUtil { final val ONE_HOUR_MILLISECONDS = 60 * 60 * 1000 final val SECOND_DATE_FORMAT = "yyyy-MM-dd HH:mm:ss" final val DAY_DATE_FORMAT_O.

2020-09-19 19:01:35 275

原创 [Scala]正则表达式——去除特殊字符，只保留中英文和数字以及下划线

今天在解析数据时，发现json中的一个字段nick_name(微信昵称)中存在表情符号。原始数据：这是一个很长的测试昵称~$!-_????0插入数据库中报错当然这个问题的另外一种解决方式在其他地方会解释。在解决不了的前提下，只能去除数据中的特殊符号，因此用到正则表达式。代码如下：import scala.util.matching.Regexobject RegexTest { def main(args: Array[String]): Unit = { //正

2020-09-12 00:00:45 4035

weixin_42594269的博客