2019年06月_打卤

原创 python学习笔记---文件修改

功能实现：通过python,实现linux的sed功能(另：通过python文件无法直接修改保存，只能先把文件另存，然后重命名。这里没有执行重命名那一步)实现效果为：执行.py +（find_str )需要修改的值 + replace_str (修改后的值）方式1：import sysf = open("dalu2","r",encoding="utf-8")f_new = ope...

2019-06-27 16:07:47 100

原创 linux:解决无法删除文件名有空格的文件

我们写自动任务删除历史文件时，经常把find和xargs搭配使用，例如：find /logs/ -mtime +15 -type f | xargs rm -rf但是这个命令如果遇到文件名里有空格或者换行符，就会出错。因为xargs识别字符段的标识是空格或者换行符，所以如果一个文件名里有空格或者换行符，xargs就会把它识别成两个字符串，自然就出错了。这时候就需要find -print0和...

2019-06-27 11:46:31 1539

原创 python学习笔记---输出进度条

import sys,timefor i in range(20): sys.stdout.write("#") sys.stdout.flush() time.sleep(0.2)

2019-06-25 15:53:47 259

原创 shell脚本--提示确认（Y / N，YES / NO）

你已经看到的命令多次要求确认[Y / N]或[YES / NO]输入。这是，如果用户想继续为其余步骤，它是非常有用的部分。您还可以添加同样的功能在您的脚本中。本文将帮助你完成这种类型的输入例子。例1：确认提示（一次）这个示例代码将为确认提示一次，如果你给输入错误，程序会以状态1退出。这个例子将只接受Y或N或YES或NO（不区分大小写）。#!/bin/bashread -r -p "Are...

2019-06-24 16:58:50 36490

原创 nginx:http转发到https

只需要把80端口情况rewrite到443即可！server { listen 80; server_name oa.dalu.com; rewrite ^(.*)$ https://${server_name}$1 permanent; } server { listen 443; #server_name default; server_n...

2019-06-24 15:15:36 7211

原创 python3：解析分析日志中的URL并提取想要的key-value

需求：处理前.log，有记录url的请求参数,需要找出想要参数对应的值，并保存到文件import urllib.parsedalu=open("处理后.log","w+",encoding='UTF-8')try: file=open("处理前.log","r",encoding='UTF-8') for i in file: query = dict(ur...

2019-06-23 13:32:45 1446

原创 shell--文本处理之倒叙排列+根据第2行内容去重

nl dalu.log | sort -nr | cut -f2 | sort -t ' ' -k 2 -u解释：nl dalu.log ：加入编号sort -nr ：倒叙cut -f2 ：去掉编号sort -t ’ ’ -k 2 -u：按空格分隔后，按第二列的内容去重...

2019-06-23 13:18:44 1220

转载从基础到实践ClickHouse之1 - 初识ClickHouse

谈起ClickHouse，应该很多人都会很陌生。一来它是一个新生事物，听过的使用过的人非常少；二来可能没有hadoop生态那么完善和健壮，所以稳定性和功能还有所欠缺。但这些都不影响其迅速获得的良好的口碑和开挂的性能，作为特定领域的数据库，极其看好ClickHouse。1. 什么是ClickHouse？这里引用官网的一段话：ClickHouse is a column-oriented ...

2019-06-20 16:42:10 1854

转载 shell中实现循环日期

#!/bin/shif [ $# == 2 ]; then datebeg=$1 dateend=$2else echo "请输入开始时间和结束日期，格式为2017-04-04" exit 1fibeg_s=`date -d "$datebeg" +%s`end_s=`date -d "$dateend" +%s`echo "处理时间范围：$beg_...

2019-06-18 10:33:29 1929

原创实现Linux文件权限继承:setfacl命令的基本用法

1、setfacl的用途setfacl命令可以用来细分linux下的文件权限。chmod命令可以把文件权限分为u,g,o三个组，而setfacl可以对每一个文件或目录设置更精确的文件权限。换句话说，setfacl可以更精确的控制权限的分配。比如：让某一个用户对某一个文件具有某种权限。这种独立于传统的u,g,o的rwx权限之外的具体权限设置叫ACL（Access Control List）...

2019-06-13 14:47:23 2983

原创用clickhouse同步mysql数据

业务场景，写个自动任务定时把mysql的数据同步clickhouse，利用clickhouse的高速查询来做大数据准备实现原理，查询当前clickhouse的数据id,拉取mysql大于此id的数据，再插入到clickhouseimport pymysqlfrom clickhouse_driver import Clientclick_client = Client("host", "...

2019-06-13 13:29:44 9126 1

原创使用python把mysql数据导入到clickhouse

clickhouse_driver python 第三方库下载地址:https://github.com/mymarilyn/clickhouse-driverfrom clickhouse_driver import Clientclient = Client("clickhouse_server_ip", "9000", "db", "tables", "")###直接插入到click...

2019-06-05 15:39:02 2683

原创从基础到实践ClickHouse之2 - centos部署单机版

安装既然要安装clickhouse已知道了它的强大了，废话不多说。直接yum安装就是辣么6。curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bashyum list 'clickhouse*'yum install -y clickhouse-ser...

2019-06-05 14:52:59 2374

打卤的博客