Piepis的博客

架构是顶层设计；框架是面向编程或配置的半成品；组件是从技术维度上的复用；模块是从 业务维度上职责的划分；系统是相互协同可运行的实体。

打造 flask + gunicron + nginx + Mysql 环境nginx + Mysql 使用docker 快速部署使用 supervisor 对 gunicron 做监控。

学习docker ，并在centos上手动安装docker

log文件压缩并清空

csv 数据分组

背景随着网络迅速发展，大数据的处理呈现出非常明显的实时化趋势。在实时化的大趋势底下，了解并熟悉Flink常用的三大典型应用场景，对于我们理解并使用Flink具有很大的帮助。事件驱动型应用事件驱动表示一个事件会触发另一个或者是很多个后续的事件，然后这一系列事件会形成一些信息，基于这些信息需要做一定的处理。通俗讲，事件驱动型应用是一类具有状态的应用，会根据事件流中的事件触发计算、更新状态或进行外部系统操作。常见于实时计算业务中，比如：实时推荐，金融反欺诈，实时规则预警等。常见的事件驱动型场景举例

背景NLP和图像比较普遍，语音识别文字做的很多，今天尝试下做语音情感识别。语音情感识别系统图wav格式的语音包做特征提取的语音包（包含中文和英文）https://download.csdn.net/download/bug4pie/15725652特征提取方法-mfcc在这里我选用了mfcc算法来提取语音基于谱的特征算法如下https://download.csdn.net/download/bug4pie/15727165主函数调用#!/usr/bin/env python# -

数字类型字符串转数字的方法字符串转换成数字有方法：$[]$(())exprlet应用代码日期"20210107’字符串需要先截取年月日，然后获取数字，如"07" —>7。# RUN_BATCH_DATE_TYPE: M: monthly(Run once a month) W:weekly (Obtain results: 0 for Sunday, 1-6 for Monday to Saturday) D:day (Every day) default d

背景：最近网上有人在git上分享了在京东抢茅台的程序，要过年了，将代码优化了下，用来给我家老头抢几瓶茅台喝喝。代码链接：获取登录的eid和fp首先，电脑PC登录京东。随便选择一个商品添加到购物栏点击立即购买，会跳转到购买页面然后进行结算如果是谷歌浏览器，按F12，进入调试模式（其他浏览器可以自行百度下，怎么进入调试的模式）。如下图进入调试的Console选项，在最后一个箭头的位置输入后回车_JdTdudfp可以看到eid和fp...

文件路径CFGFILE=dw_clsfd.clsfd_dq_email_notification_cretio.cfg去除注释sed '/^#.*\|^$/d' $CFGFILE 去重空格sed 's/ //g'方法一 使用外置配置文件`sed '/^#.*\|^$/d' $CFGFILE |sed 's/ //g'` > temporary while read line;do eval "$line" done < $temporary 方法二

大于 -gt (greater than)小于 -lt (less than)大于或等于 -ge (greater than or equal)小于或等于 -le (less than or equal)不相等 -ne （not equal）方法一#!/bin/bash #倒序按天遍历日期 #传入遍历的开始时间和结束时间startdate="$1"enddate="$2"#序列1-300，表示遍历300次，因为有结束时间的限制，所以实际上不会循环300次for i in `s

linux日志文件说明/var/log/message 系统启动后的信息和错误日志，是Red Hat Linux中最常用的日志之一/var/log/secure 与安全相关的日志信息/var/log/maillog 与邮件相关的日志信息/var/log/cron 与定时任务相关的日志信息/var/log/spooler 与UUCP和news设备相关的日志信息/var/log/boot.log 守护进程启动和停止相关的日志消息/var/log/wtmp 该日志文件永久记录每个用户登录、注销及系

创建和列表数据库hive > CREATE DATABASE financials; hive > CREATE DATABASE IF NOT EXISTS financials; # IF NOT EXISTX 会做一个覆盖检查hive > SHOW DATABASES;#列出当前数据库#default 默认数据库。初始化就有的hive > SHOW DATABASES LIKE 'd.*'#like 匹配改变数据库存放路径缺省存放目录由hiv

IF函数：if语法: if(testCondition,valuTrue,valueFalseOrNull)说明:当条件 testCondition 为True时，返回valueTrue, 否则返回valueFalseOrNull条件判断函数：CASE语法： Case A when b THEN c [WHEN d THEN e] * [ELSE f] END说明：如果a 等于 b，那么返回c,如果a等于d，那么返回e，否则返回feg： -- 销售类型增加一级部门的prt_distributio

hive执行参数命令行直接执行HQLhive -e "select *from dw.ol_oitf_interface_auc_dimension_business limit 10"执行HQL文件中的语句hive -f emp.hqlhive -f /home/my/hive-script.sql'''Example of running an initialization script before entering interactive mode 在进入交互模式之前运行初始

保存select查询结果的几种方式1.将查询结果保存到一张新的hive表中create table t_tmpasselect * from t_p;2将查询结果保存到一张已经存在的hive表中eg:(into 增量增加)insert into table t_tmpselect * from t_p;#-----------------------------------------------------eg:(overwrite 覆盖增加)insert overwrite tabl