陈小白成长记-CSDN博客

原创 python添加白名单

功能：自动添加白名单import osimport reimport timefrom datetime import datetimeimport platformnowTime=datetime.now().strftime('%Y%m%d%H%M-%s')print(nowTime)iptable_name="iptables"add_iptable="iptables_add"key_word="###DEFAULT###"iptable_bak="iptables-"+no

2021-03-25 19:18:38 870

原创 shell日志生成工具

**功能点：自动创建日志目录和文件在需要生成日志的shell中添加自动删除时间较长的日志文件生成日志目录级别和源代码目录级别一致**传入参数不限具体使用方法和bash/sh 相似#! /bin/bash -xfunction sskj_bash (){ declare -r CURR_DIR=$(cd `dirname $0`;pwd) # ${file#*/}：删掉第一个 / 及其左边的字符串：dir1/dir2/dir3/my.file.txt TASK_N

2020-08-12 16:43:32 684

原创 linux系统下用python写入数据到excel行数限制解决方案（限制1048576行）

功能点：List item用python写入数据到excel会有行数的限制，最新excel限制行数为1048576，那么怎么能解决这个问题呢？解决方案：当行数达到最大时进行分sheet保存数据自动命名新sheetdef get_data(nowTime): file_name = './{}_check_data.xlsx'.format(nowTime) if os.path.exists(file_name): # 如果文件存在 # 删除文件，可使用以下

2020-08-10 16:19:55 2851

原创 linux环境下用python读取hive数据并写入到excel（定时调度、自定义列宽）

功能点：1、调用自定义类，实现对excel格式的调整内嵌定时功能，实现定时执行可对标题等进行颜色标注可实现自定一列宽可实现数据居左、居右、据中对齐方式并将生成的excel通过邮件发送# -*- coding:utf-8 -*-"""定时任务多线程，每日执行"""from pyhive import hiveimport pandas as pdimport smtplibfrom email.mime.text import MIMETextfrom email.mime

2020-08-10 15:58:22 735

原创 linux系统下用python发送邮件附件（版本一：纯发送功能）

功能点：1、实现python发送邮件附件2、显示全部抄送人信息# -*- coding:utf-8 -*-import smtplibfrom email.mime.text import MIMETextfrom email.mime.multipart import MIMEMultipartfrom email.header import Headerdef send_mail(smtp, from_addr, to_addrs, title, content, attachments

2020-08-10 15:48:21 1043

原创 datax之json格式

with detail as (select '2020-01-01' as dt , 1 as dept , 1 as sale_amt union all select '2020-01-02' as dt , 1 as dept , 2 as sale_amt union all select '2020-01-03' as dt , 2 as dept , 3 as sale_amt union all select '2020-01-05' as dt , 2 as dept , 5 a

2020-08-10 15:20:23 4835 1

原创 shell总调度模板

#! /bin/bash -xdeclare -r CURR_DIR=$(cd `dirname $0`;pwd)JOB_NAME=`basename $0 .sh`curr_date=`date +%Y%m%d`curr_time=`date +%H%M%S`# 日志存放目录PRJ_NAME=${1:-"/${project_name-logs}"}LOG_ROOT_DIR=${CURR_DIR%$PRJ_NAME*}$PRJ_NAME"-logs"if [ ! -d "${LOG_R

2020-08-04 16:56:02 394

原创 clickhouse数据库之基础语法

一、clickhouse数据库发展历史clickhouse是俄罗斯Yandex在2016年6月15日开源的数据库，是列式存储，该数据库性能极高，查询效率极快，较其他同类数据库速度提升100-1000倍。二、Clickhouse的特点1.真正的面向列的DBMS2.数据高效压缩3.磁盘存储的数据4.多核并行处理5.在多个服务器上分布式处理6.SQL语法支持7.向量化引擎8.实时数据更新9.索引10.适合在线查询11.支持近似预估计算12.支持嵌套的数据结构13.支持数组作为数据类型

2020-07-14 19:36:46 1028

转载 hive时间戳函数之unix_timestamp()，from_unixtime，to_utc_timestamp

一. 日期>>>>时间戳1.unix_timestamp() 获取当前时间戳例如：select unix_timestamp() --15658583892.unix_timestamp(string timestame) 输入的时间戳格式必须为’yyyy-MM-dd HH:mm:ss’,如不符合则返回null例如：select unix_timestamp('2019-08-15 16:40:00') --1565858400select unix_t

2020-06-30 11:50:18 4560

原创 csv文件如何上传到hive数据库

1.将文件设置为csv格式文件，数据之间用逗号隔开，尤其是日期数据，要保证将日期数据转换为文本格式。范例如下：dim_budget.csvJDDJ,92,1,2020-6-1,17734.1471445513,17734.1471445513,2020-6-28 15:25JDDJ,92,10,2020-6-1,72548.7837731644,72548.7837731644,2020-6-28 15:25JDDJ,92,12,2020-6-1,33856.0990941434,33856.099

2020-06-28 18:15:38 2377

原创解决hive数据空跑问题-增加删除分区和添加分区逻辑

解决hive数据空跑问题----标题-增加删除分区和添加分区逻辑在日常调度中会经常遇到hive的调度会空跑的问题，当调度完成之后，有时候会发现没有跑进去数据，但是日志等都是正常的，后面在查找了好多资料之后，发现大数据平台Hadoop在自动调度方面有时候会出现空跑问题，解决方法很多，但不一定能够百分百解决，下面介绍一下我对空跑原因的分析与解决方案。原因分析：可能是hadoop对删除分区与增加分区的自动化功能不太完善，导致调度时删除和增加分区时正常，时不正常。当删除分区不彻底，或者当删除分区之后，没有正常

2020-06-20 17:30:58 1432

原创数据从hive到clickhouse再到本地的整个流程

clickhouse-client -m//clickhouse生产端生成parquetclickhouse-client --query “select * from cluster_rpt.app_sales_full_channel_y INTO OUTFILE ‘./app_sales_full_channel_y.parquet’ FORMAT Parquet”//复制到本地：scp 用户名@服务器名:~/app_sales_full_channel_y.parquet ~/Desktop

2020-06-19 22:14:52 1535

原创大数据中full_dim应用

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Mar

2020-06-19 21:44:46 215

weixin_46327368的博客