shell
文章平均质量分 55
冰帆<
这个作者很懒,什么都没留下…
展开
-
继续深挖挖矿病毒solr中毒途径
今天突然通过grafana 集群的网卡流量异常,查看hadoop集群有dr.who用户执行yarn 任务。原创 2023-02-23 11:37:28 · 510 阅读 · 0 评论 -
清除挖矿病毒solr记录
solr病毒cpu占用100%,导致node节点挂掉,正常情况下,一般node节点不会挂掉,进入节点,发现果然node挂掉。原创 2023-02-20 10:17:55 · 1479 阅读 · 2 评论 -
hivesql失败告警发送到企业微信
离线数仓一般情况下都是通过写hive sql方式,利用调度系统再hive sql脚本,进行数仓分层,而调度系统是针对任务粒度的,而且一般都不支持发送到企业微信,针对这一痛点,本文利用hivehook 监听hive sql,将hive sql 的错误信息发送到kafka,另外python 程序实时kafka的数据,并发送到企业微信。流程图如下:Hook是一种在处理过程中拦截事件,消息或函数调用的机制。Hive hooks是绑定到了Hive内部的工作机制,提供了使用hive扩展和集成外部功能的能力。原创 2022-12-21 18:08:19 · 292 阅读 · 0 评论 -
获取全国统计用区划代码和城乡划分代码并写入数据库
2)如果中途失败,从mysql中读取上次写入最后一条记录处,继续开始。2、抓取过程中会经常连接失败导致。1)从第一级开始,依次抓取直到第五级,依次往复迭代,直接完成。3、失败后无法从失败处继续。看到2021年已经更新,正好拿原来的代码看看是否还能跑。3)防止多次连接导致,服务器判断为爬虫,ip禁用。那为了能顺利完成任务,需要对原有代码进行改造优化。若有需要完整代码或者mysql 导入脚本,请私我。代码测试:1、网站由原来的gbk转换为utf-8。4、python 核心代码。2、mysql 表结构。原创 2022-11-23 22:14:59 · 1460 阅读 · 8 评论 -
按日期时间段补数命令
按日期时间段补数命令原创 2022-06-29 22:31:33 · 203 阅读 · 0 评论 -
xsync:集群批量同步文件命令
xsync:集群批量同步文件命令原创 2022-06-29 22:12:48 · 164 阅读 · 0 评论 -
shell 批量在远端主机上执行命令
shell 批量在远端主机上执行命令原创 2022-06-29 22:05:17 · 553 阅读 · 0 评论 -
awk 统计nginx 日志 pv uv
awk 统计nginx 日志pv uv原创 2022-06-27 22:18:37 · 1157 阅读 · 0 评论