- 博客(54)
- 收藏
- 关注
RSS订阅原创 linux查看占用内存最多的进程详情
1.使用top命令，按下shift+m可让进程按占用内存降序排列2.使用ps -ef | grep pid 获得执行进程时的命令3.使用/proc/pid/status 找到VmRSS栏，此处是进程占用的内存，以kB为单位
2023-03-23 14:39:52
2001
原创 【flask】已解决:使用flask-restful后errorhandler中间件无法拦截报错
解决flask-restful中间件无法拦截报错
2022-10-14 18:41:36
745
2
原创 【python】ctypes向c函数传入二维数组、利用c链接库提升python速度
==================================
2022-08-09 10:28:44
1061
原创 c语言可变参数原理
首先C语言中函数中的参数在压栈时默认是从右往左压栈的，其次栈是从高内存地址往低内存地址生长的，而且栈是连续的内存。这样在内存中，先入栈的参数保存在更高的地址，右边的参数在地址上的表现就是在左边参数的高位。知道左边参数的地址加上右边参数的类型之后，就可以知道右边参数的地址。如像这个函数被调用时,参数在栈内类似这样下面的代码大体展示了可变参数的基本用法其中的关键点已经在注释中写出va_*定义1） va_list：2）_INTSIZEOF 宏，获取类型占用的空间长度，最小占用长度为int的整数倍：
2022-06-28 15:28:26
304
1
原创 python正则匹配并删除json字符串中的某个字段
这里写目录标题问题代码结语问题今天遇到一个需求,字符串类似"{ 'form_view_ref' : 'hr_expense.hr_expense_view_form_without_header' ,'default_employee_id': employee_id, 'default_company_id': company_id}"这并不是标准的json字符串，因为其中含有变量，所以无法使用json.loads将其转为字典。需求是将form_view_ref这个字段的键值对删除。
2022-03-25 10:13:16
2753
2
原创 关于GO的package
不同的文件夹可以取相同的package名，子文件夹也可以相同的文件夹只能有一个package名package名可以和文件夹名不一致，防止文件夹名字有特殊字符出现
2022-02-16 14:10:54
208
1
原创 windows+grpc+go-＞解决‘protoc-gen-go-grpc‘ 不是内部或外部命令，也不是可运行的程序 或批处理文件
go install google.golang.org/grpc/cmd/protoc-gen-go-grpc@latest如果是【‘protoc-gen-go’ 不是内部或外部命令】需要go install google.golang.org/protobuf/cmd/protoc-gen-go@latest
2022-02-16 10:50:58
998
原创 proto3语法笔记(解决import标签生成go文件中导入路径问题)
请搭配go-grpc笔记食用一个简单的示例syntax="proto3";// 指定proto语法版本package chat_proto;// 这个packege指定的是proto文件的包名,与go的package没关系option go_package="./chat;chat";// 若没有此项会报错,格式为<生成的文件存放位置;生成文件的包名>,注意此标签分号后面的一项是go的包名message Message{ //message标签指定参数格式 string body=
2022-02-15 09:46:31
2646
原创 windows pip3 安装sshtunnel包
windows安装sshtunnel包时可能会报三个错误分别是1.需要RUST>14.0 和2.Microsoft Visual C++ 14.0 is required 和3.fatal error C1083: 无法打开包括文件: “openssl/opensslv.h”解决方法：1.set CRYPTOGRAPHY_DONT_BUILD_RUST=1 其实这个在报错提示中有2.安装Microsoft Visual C++：进入VSCODE官网下载VScode后安装其为C++开发的
2021-07-06 18:04:37
632
原创 【MYSQL】MYSQL的事务隔离级别及解决的问题
事务隔离级别无事务会出现的问题脏读不可重复读幻读幻读和不可重复读的区别？MYSQL隔离级别未提交可读提交可读可重复读可重复读的两种读取方式可串行化关于乐观锁总结下面说的都是针对MYSQL的InnoDB引擎，MyISMA无事务无事务会出现的问题脏读事务A与事务B同时插入数据,事务B读取数据集(集合A),但是事务A因为某种原因回滚了,此时事务B再次读取数据集(集合B),集合A就会比集合B多数据,此情况在未提交可读级别下可以发生，其他三个级别都可以避免。不可重复读事务B在读取某条数据后，事务A对着条数
2021-06-04 11:50:11
366
原创 GOPATH 和GOROOT 以及gosrc、gomod
环境变量中的GOROOT为你go的安装目录,其下的src目录为go自带的包，如go.exe就在./bin下GOPATH最好由自己指定一个目录，所有项目都在其中开发，当你的项目变多时，要引用其他项目的东西必须在同一个目录下，不要把项目文件乱放。当你使用gomod时会在GOPATH下新建一个pkg/mod文件夹，里面盛放go mod下载的包。GOPATH下的src目录和GOROOT的src目录都会作为导入包时默认的目录，当你没有使用gomod管理项目包时，go get可以将外部包下到GOPATH下的src
2021-05-25 15:14:38
864
2
原创 GO实现python字符串RJust函数
GO实现python字符串RJust函数//从右截取字符串字符串(支持unicode字符),lenth<=0返回"",长度不够用prefix填充func RJust(src *string,lenth int,prefix rune)(err error){ /* params: src:source string lenth:cut length prefix: prefix rune if length of src less than the param "lenth" a
2021-05-21 11:40:28
237
1
原创 postgre通过sql释放空闲连接
– 查询当前连接select * from pg_stat_activity;–查询最大连接数show max_connections;– 释放空闲连接SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE state=‘idle’;
2021-01-18 11:54:41
4634
原创 Mysql和Postgre使用NOT IN无法获取到数据
Mysql和Postgre使用IN无法获取到数据一级目录一级目录因为mysql和postgre的not in中的元素如果含有null,就会返回空数据，in 不受null影响，clickhouse的 in 和notin 都不受null影响例如而不含有null
2021-01-15 14:04:16
719
原创 clickhouse利用arrayjoin消费者消费时间进行分组排序
clickhouse利用arrayjoin消费者消费时间进行分组排序需求我的表结构需求今天接到一个需求,需要得到消费者的每次消费行为是其消费的第几个消费天，由于需要对每个用户单独单独计算，着实是让我思考了一番。现把利用clickhouse arrayjoin函数的实现与大家分享。我的表结构CREATE TABLE miniLLJ.trade_drop_table_conv_bobo (`id` Int32, `create_on` Int64, `insert_time` DateTime,
2020-12-21 22:28:19
3496
原创 python 中通过with实现数据库连接对象的自动断开连接
上代码注意__enter__函数必须返回创建的对象,用于with体调用__exit__即使with体内报错,也会执行class openmysql(): def __init__(self,*args,**kwargs): """ kwargs like host='www', user='root', passwd='123456', db='test', port=3306 """ ####将传进来的变量保存到self,不能在
2020-11-29 12:15:49
991
3
原创 Django的SoftDeletableModel筛选is_removed=True的条目
源码:所以只要用all_objects替代objects即可如store_products = StoreCommodityProduct.all_objects.all()
2020-09-02 11:11:00
286
原创 python中的naive时间和aware时间转化中的坑
python的datetime模块和time模块可以帮助我们快速的构建时间对象，但是这两个模块得到的时间对象都是naive-time，也就是不带时区的时间。有不带时区的时间对象，就有带时区的时间对象，即aware-time。而在两者比较时，会抛出如下错误：这两者之间转换有两种办法。第一种:from datetime import datetimefrom pytz import timezonenow_ = datetime.now()timez = timezone('Asia/Shangh
2020-08-20 18:33:16
1292
原创 datax同步postgre到clickhouse
datax同步postgre到clickhouse支持clickhousewriter的datax压缩包提取连接使用支持clickhousewriter的datax压缩包提取连接由于datax的master分支并不能支持clickhouse，fork版本https://github.com/kuangye098/DataX只能自己打包，而我对maven知之甚少，在打包时出现了https://github.com/alibaba/DataX/issues/82所以问clickhouse社区好哥哥要
2020-07-28 11:56:38
3502
6
原创 qrcode库生成带自己LOGO的二维码并上传七牛
qrcode生成带自己LOGO的二维码库依赖缘起代码生成的二维码上传七牛库依赖pip install qrcodepip install Pillow缘起公司小程序活动要做到二维码分享里代码import ioimport osfrom PIL import Imageimport qrcode####存放中心logologo_path = '../media/xtz.jpg'###生成二维码函数def makeQRCode(): global logo_path
2020-07-22 17:50:01
476
原创 python+kafka+supervisor
python脚本实现kafka消费场景脚本supervisor安装配置文件场景工作中遇到需要将业务开发写入kafka队列的数据消费并插入到clickhouse的场景。一般情况下，我都会选择别人写好的服务来进行这种需要健壮性的操作。这里我们选用了https://github.com/childe/gohangout然而我们的业务开发人员将数据进行了base64编码，而这个服务不支持解码。要不然也不会有这篇博客。这里我实名diss一下老甘。脚本import pymysqlfrom SQL i
2020-05-11 19:59:25
333
1
原创 clickhouse集群搭建
最近为了测试clickhouse集群性能及其分布式表复制表行为特征搭建了一个2shard2replica的集群，系统为centos，clickhouse搭建在docker中，使用四台机器。·zookeeper搭建请参考link，搭一个四台服务器的集群。...
2019-12-13 11:38:08
887
原创 python 解析JWT实战
JWT：JSON Web Token(JWT)是一个基于 RFC 7519 的开放数据标准，它定义了一种宽松且紧凑的数据组合方式，使用 JSON 对象在各应用之间传输加密信息。该 JSON 对象可以通过数字签名进行鉴签和校验，一般地，JWT 可以采用 HMAC 算法，RSA 或者 ECDSA 的公钥/私钥对数据进行签名操作。一个 JWT 通常有 HEADER (头)，PAYLOAD (有效载...
2019-12-12 17:40:20
1023
原创 【centos】 centos通过yum安装pip3
centos没有预装pip3，需要手动装。百度了一下全是让我wget后自己安装什么鬼人生不易，我用python忘了python的禅道了吗最简单的方法：yum install python36-pipBeautiful is better than ugly.Explicit is better than implicit.Simple is better than comple...
2019-11-26 15:06:38
362
原创 【zookeeper】centos安装zookeeper-3.5.5集群
由于搭建clickhouse集群需要利用zookeeper，今天搭建了一个三节点的zookeeper集群，记录一下。首先我们需要三台不同的机器，当然搭建伪集群的话可以使用一台（据说），但是配置可能麻烦一些（没试），但我们毕竟现在有三台机器，就用起来吧。本攻略在centos下进行，时间2019-11-25解决机器之间通讯问题1.首先打开/etc/hosts文件，添加类似以下的条目（所有集群中...
2019-11-26 11:45:28
351
原创 【ClickHouse监控】clickhouse-exporter+prometheus+grafana实现clickhouse监控
下面介绍一下clickhouse-exportor+prometheus+grafana实现clickhouse监控（目前为CH单节点，CH集群之后用到更新）。编排docker-compose.yml由于这三个组件在docker都有镜像，选择直接编排docker-compose.yml的方式进行安装，省时省力。文件如下：dockerconpose.ymlversion: '3'ser...
2019-11-20 18:47:38
6079
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人