BM系列
文章平均质量分 60
worgent
这个作者很懒,什么都没留下…
展开
-
记一次百亿级es数据性能优化-未完成
先说结论和todo结论:todo:1.SSD没发挥性能问题问题继续测试2.数据分片数量&大小对性能影响3.行业对比,es最快就只能达到1亿1s的性能吗?正好赶上一个规模比较大的项目,2000多台机器,所有组件及任务日志全部都要采集,我们采用的方案是Elasticsearch+logstash+filebeat的方案。在项目上线一个月左右,出现了数据查询报错的问题,报错读超时...原创 2020-01-14 17:28:11 · 1866 阅读 · 0 评论 -
go语言首战-自动招聘工具aiBoss
最近招聘招的焦头烂额,还有比较大的业务压力;决定写个自动化筛选的工具,正好最近准备进军go语言,所以决定用go写。目前支持学历,学校(985,211),专业,薪资,经验等方面的筛选,并进行主动沟通。源码地址 https://github.com/worgent/recruit-assistant按照惯例,现在github上搜一下,果然有,一个哥们求职写的boss直聘自动回复的...原创 2019-03-04 15:20:45 · 453 阅读 · 0 评论 -
BEH-Execute分布式调度引擎
背景1.ssh安全性问题,2.docker,mesos云化系统支持问题3.执行效率问题,尤其是大规模集群(超过50台),比如服务启动,目前全部需要中心server调动。4.执行效果问题,目前的执行是触发式的(同步方式),只能获得ssh的执行结果,不能获得具体任务的执行结果。还是以服务启动为例,只能知道启动脚本的调用结果,无法获知每种角色的具体执行情况。一.说明...原创 2019-03-04 11:39:49 · 827 阅读 · 0 评论 -
敏捷开发代码管理规则:为什么要采用单一主干代码管理?如何做到单一主干代码管理?
http://blog.sina.com.cn/s/blog_74bd788f0101aohh.html在敏捷开发中,单一主干代码管理经常被提及,那为什么要采用单一主干代码管理?单一主干代码管理带来哪些好处?如何做到持续发布新功能并定期稳定的可商用的版本?为什么采用单一主干代码管理?在敏捷研发中的代码管理控制时,我们需要牢记两点[1]首先,只有频繁提交代码,...转载 2017-05-12 14:11:14 · 2508 阅读 · 0 评论 -
BM系列之 SVN
产品研发做了这么多年,带过的产品也好几个了,深刻的体会到产品不只是技术一个事情,它涉及到很多方方面面的事情,尤其是团队协作层面。它和做项目有明显的区别在于后续的迭代,项目可以将完成作为第一目标,不去过分考虑后续迭代的工作。但是产品如果不迭代,就会死的很惨,迭代慢了都不行。前车之鉴就是BM3.0。今天要说的事情是代码版本管理,说道版本管理大家很容易想到svn,git等,而且很多人都用过,但是如果你没有原创 2017-05-12 14:59:20 · 431 阅读 · 0 评论 -
BM系列之 架构(k8s版本)
架构是项目的基础。一个好的架构,在产品的后续迭代中,能节省很多时间。首先看下cloudera manager的架构。接下来,看下ambari的架构。最后,来看下BM容器版架构另附功能模块结构。...原创 2017-05-15 16:54:21 · 1499 阅读 · 0 评论 -
BM系列之 产品开发经验
这个系列的文章将主要介绍BM这个产品,这个产品从16年5月份开始酝酿,8月份正式开始开发,到12月底正式发布,中间历经4个月;开发人员一共6人。下面将从产品开发的各个方面来一一介绍,包括架构,持续集成,排错,版本管理。一 架构。原创 2017-05-16 10:41:53 · 1433 阅读 · 0 评论 -
某故障管理平台架构
ELKB相关技术不再赘述。重点说明Spark,图数据库相关内容。1.故障引擎故障引擎基于Spark Streaming进行实现,实时拉取kafka中数据进行处理,比对规则图谱数据,对发现的问题进行告警。告警数据存储在图数据库neo4j中。2.规则提取日志数据存储在ES,HDFS中,通过spark core,spark mlib对日志进行统计,聚类,分类处理,获...原创 2019-03-08 16:15:24 · 613 阅读 · 0 评论 -
yarn部分指标详解-allocated,pending,reserved
应广东联通项目的需求,近日bm增加了yarn队列监控,监控最小粒度到队列和用户。使用过程中,局方提出指标具体含义的问题,这些指标的含义官方没有具体介绍,最好在hortonworks的介绍文档中找到,分享如下。yarn pending reserved allocate Containers •Allocated – Containers which have been created with r...原创 2018-03-21 11:18:04 · 4168 阅读 · 0 评论 -
kerberos管理开发总结
从10月23日左右,到10月27日搬完代码,到今天11月20日;小一个月已经过去了;kerberos管理所花的时间超出了我的预期。当然,中间出了很多七七八八的是,干扰了开发。比如,xjl事件,联通总部数据域项目,以及一些其他的事情。好在现在基本开发完了,还有一些小瑕疵,可留在后续解决,现在急需对过去一月的工作进行总结整理。通过这次开发,大量借用ambar原创 2017-11-21 15:19:55 · 2992 阅读 · 0 评论