技术收获
大龄coder
靡不有初鲜克有终,人无远虑必有近忧。
没有最好的语言,只有最好的程序员。
展开
-
Logstash瓶颈定位
先不用修改worker数量pipeline.workers(-w),而是先一次修改一个参数,从而确定问题参数检查列表:1. 检查输入源和输出点消费的速度受限于input源服务的速度;生产的速度受限于output端的速度;2. 检查系统性能CPU关注CPU是否占用很高;top -H如果CPU占用高,检查JVM堆进行调优内存Logstash运行在Java VM上,Logstas...原创 2019-11-18 18:19:52 · 1868 阅读 · 0 评论 -
kibana中过滤条件long型数字显示错误问题
今天同事使用kibana时除了个问题,在filter中对数字进行过滤时,filter显示的数字不是输入的数字,id:69191985155678209,但是在界面上显示的是id:69191985155678210定位问题发现是javascript语言,数字精确度只能到53位,53位以外的精度会被舍弃,比如上面数字,下一个可以输入的是69191985155678218,也就是比前一个大8,最后...原创 2019-11-04 13:27:20 · 1190 阅读 · 0 评论 -
ElasticSearch架构
1.基础概念集群-cluster,节点-node,索引-index,备份-replicas,分片-shards,文档-document,索引段-segment,事务日志-translog2.解释集群:多个es节点组成,每个集群有一个cluster name作为标识;节点:一个es实例,一台机器可以有多个实例,所以不能说一台机器就是一个节点;索引:一些列documents的集合,相当于一...原创 2019-10-21 19:01:06 · 273 阅读 · 0 评论 -
Titanic数据分析(部分)
Titanic文章来源:https://www.kaggle.com/ldfreeman3/a-data-science-framework-to-achieve-99-accuracyMachine Learning的hello worldHow a Data Scientist Beat the Odds克服困难A Data Science FrameworkDefine the ...原创 2019-05-23 02:49:45 · 1572 阅读 · 0 评论 -
使用find_in_set代替in,设置mysql的in参数
问题,出数据报表时,经常需要设置一个参数,根据该参数执行多个sql,计算整体数据。当这个参数里面是多个时,就没法用IN来进行操作了。看了很多博客,按照sql执行也没成功。最后看到一个find_in_set(str, strlist)的方法,试了下,完美解决;-- 表person,字段(id,name,age,addr)SET @ids = '1,2,3,4'SELECT * FROM per...原创 2019-05-31 11:22:32 · 1403 阅读 · 0 评论 -
kaggle教程--Introduction to ML
Using Pandas to Get Familiar With Your DataThe first step in any machine learning project is familiarize yourself with the data. You’ll use the Pandas library for this. Pandas is the primary tool dat...原创 2019-06-04 08:54:06 · 305 阅读 · 0 评论