- 博客(6)
- 收藏
- 关注
RSS订阅
原创 Fast-GRPC: 用python轻松开发grpc接口
fast-grpc框架旨在为开发者提供更轻松快捷的 Python gRPC 接口开发方式，受到 FastAPI 的启发，用更human的方式编写 gRPC 接口
2023-05-10 06:00:00
470
2
原创 记一次es集群启动异常
异常起因由于致命查询导致es集群所有节点挂掉后，各节点重启后报SERVICE_UNAVAILABLE/1/state not recovered / initialized警告，其中有个节点始终无法加入集群，导致主节点一直等待无法初始化解决方法master节点和data节点分离,原来已有的节点全部配置为data节点，单独新开一个es实例启动做master节点，并且所有的data节点配置单拨到该主节点, 配置为discovery.zen.ping.unicast.hosts: [“master_ip:
2020-07-01 22:40:07
1553
1
原创 python日志处理包log4py
log4py 基于python自带logging进行的封装，默认配置了比较常用的日志输出，简单方便安装pip install log4py快速上手新建demo.pyfrom log4py import LoggerLogger.set_level("INFO")log = Logger.get_logger(__name__)log.info("hello log4py")日...
2020-03-29 17:50:18
8812
原创 logstash json 格式日志timestamp覆盖写入elasticsearch
我们的需求是通过logstash将json格式的log导入到elasticsearch并且使用log中的记录时间覆盖@timestamp字段 最简单的方式是在json中将时间字段改直接命名为@timestamp，如下json格式示例：{"@timestamp":"2018-05-08T08:20:40.644+08:00","source":"ap","ip":"192.168.1.1&quo
2018-05-10 00:35:59
5047
原创 python ETL工具 pyetl
pyetl是一个纯python开发的ETL框架， 相比sqoop, datax 之类的ETL工具，pyetl可以对每个字段添加udf函数，使得数据转换过程更加灵活，相比专业ETL工具pyetl更轻量，纯python代码操作，更加符合开发人员习惯数据库表数据同步、Hive表数据同步、Elasticsearch数据同步
2018-04-07 22:52:28
13424
2
原创 python通用数据库操作工具 pydbclib
pydbclib是一个通用的python关系型数据库操作工具，使用统一的接口操作各种关系型数据库（如 oracle、mysql、postgres、sqlserver、hive、impala等）进行增删改查，它将python数据库连接驱动包（如sqlalchemy、pymysql、cx_Oracle、pyhive、pyodbc、impala等）进行封装，依照python最简原则SQL占位符统一使用 ‘:[name]’ 一种形式，和sqlalchemy一样
2018-03-25 13:38:39
9233
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人