shuimofengyang的博客

背景：一般为了安全hadoop生产集群与公司其他服务器不能ping,不能互相ssh免密登录的。绝大多数是hadoop集群服务器可以有账号密码可以登录到其他服务器，但其他服务器，不可以登录到公司hadoop集群服务器。业务需要 从一台非业务服务器上scp拉取数据，这时用到 expect远程登录先看有无 安装  rpm -qa |grep expect有略过此步骤，没有 安装  yum ins...

背景：在公司某个平台链接下载后，是一堆带有文件带有后缀的文件，要进行切割，判断是那个类型的包及相应的处理。#!/bin/bash# ********************************************************************************# 程序名称:    下载雷鸟增量数据流程二# 功能描述:    将下载的数据进行切割，重命名，解...

1.背景:先用sqoop全量抽取数据，再增量抽取，整合到全量表中，作为ods层；进行业务处理到作为dwd层，结果到dm层；再sqoop将结果抽到mysql。ods层：#!/bin/bash# ********************************************************************************# 程序名称:    online...

一．脚本来监控Oracle数据库： 1.检查实例的可用性 2.检查监听器的可用性 3.检查alert日志文件中的错误信息 4.在存放log文件的地方满以前清空旧的log文件 5.分析table和index以获得更好的性能 6.检查表空间的使用情况 7.找出无效的对象 8.监控用户和事务 二．DBA需要的Unix基本知识 基本的UNIX命令，以下是一些常用的Unix命令： p...

背景：公司数据没跑完，但又得出报表，只能取最近的！需要或取当前分区表最大的分区。这里使用的是利用元数据方式进行获得当前分区表最大分区的方式写一个工具shell 脚本#!/bin/bashTABLE_NAME=$1set -ev_date=date -d yesterday +"%Y-%m-%d"if [ -z ${TABLE_NAME} ]thenecho ${v_date}...

add jar /var/lib/hadoop-hdfs/elasticsearch-hadoop-hive-5.2.1.jar;#创建hive_es 表CREATE EXTERNAL TABLE uup.t_es_user( useraction array<struct<id:string,pay_type:string,total:double,channel_src:...