- 博客(6)
- 收藏
- 关注
RSS订阅原创 airflow从零开始部署
创建目录mkdir /data/airflowcd /data/airflow下载并安装pythonwgethttps://www.python.org/ftp/python/3.7.7/Python-3.7.7.tgztar -zxvf Python-3.7.7.tgzcd Python-3.7.7./configure --with-zlib #重要make && make installexport AIRFLOW_HOME=/data/air...
2020-06-19 16:05:32
345
原创 php elasticsearch查询封装
es收集的数据虽然可以在kibina里展示，但是要局限也比较大，不能用kibina展示的只能自己动手写web展示了，利用php读取elasticsearch数据，经过处理成echarts 图表数据通过web界面展示。贴代码吧：es查询拼装类<?phpuse Elasticsearch\ClientBuilder;class es { private $es; p...
2018-09-14 11:03:01
2396
原创 Elasticsearch踩过的坑
Elasticsearch做日志存储默认的字符串类型会生成 field_name (text类型) field_name.keyword(keyword类型) 两个字段，对于很多字段我们查询都是用来聚合和精确匹配（term）查询，我们只要指定改字段为keyword就可以了。使用mapping指定索引字段的类型PUT twitter/_mapping/_doc { "properties":...
2018-06-28 09:38:33
4873
原创 elasticsearch+redis+hashmap 把分散的日志根据每个访问连接到一起
之前做公司日志清洗分析，一个用户进入网站的页面会有多个事件会触发数据上报，数据上报后通过后端的集群收集，通过rsyslog处理放在在s3不同的文件里。日志格式是每条上报数据一条记录。需求是进入播放页面统计各个事件的数量，哪个环节流失了用户。一开始是选择使用elk这一套，把日志一条一条解析成文档，存入elasticsearch，kibina里面查询做展示。各个事件通过elastics...
2018-04-19 17:22:02
597
原创 Dbutils+HikariCP简单的Java orm
hibernate，mybatis是java中数据库常用的数据库orm框架，很多时候我们用不了框架的那么多功能，又是配置又是xml，注解写起来太麻烦，网上找到 Dbutils这个类库，核心代码很小，就拿试试手，做了个简单的包装，在小项目使用。依赖：<dependency> <groupId>mysql</groupId> <artifac...
2018-04-13 17:44:49
1147
原创 nginx +lua 连接redis
Nginx访问把url的参数，ua信息，客户端ip,时间等 拼接成字符串 1k大小 写入redis队列lua代码：if ngx.var.args==nil then returnendlocal redis = require "resty.redis"local red = redis:new()red:set_timeout(1000) -- 1 seclocal ok, er...
2018-04-13 15:46:46
638
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人