![](https://img-blog.csdnimg.cn/20190918140145169.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
分布式数据研发
文章平均质量分 70
记录liao wenzhe在数据研发上的感悟。
Liao_Wenzhe
笔者组建了个风控/aiops的技术交流群,欢迎朋友们与我联系加入。
展开
-
ORACLE认证课程
ORACLE认证课程原创 2022-08-31 23:35:23 · 185 阅读 · 0 评论 -
Hadoop&&Spark
大数据原创 2022-08-31 23:34:38 · 573 阅读 · 0 评论 -
一文读懂各种分布式机器学习框架的区别与联系
创作不易,欢迎关注,点赞,收藏!本文主要对比各种常见的分布式机器学习框架原理,包括数据分布式,参数服务器,Ring-Allreduce 架构和数据流图。1.数据分布式机器学习(例如spark-mllib):Spark 是使用 scala 实现的基于内存计算的大数据开源集群计算环境.提供了 java,scala, python,R 等语言的调用接口.Spark 的主要特点还包括:- (1)提供 Cache 机制来支持需要反复迭代计算或者多次数据共享,减少数据读取的 IO 开销;-原创 2022-02-28 23:13:42 · 3205 阅读 · 0 评论 -
大规模Aiops系统在核心网数据中心的探索与实践-算法架构
目录1.背景:2. KPI分类:3. 分类异常检测 4. 关联分析与告警收敛5. 根因分析1.背景:异常检测需要监控的指标繁多(50万左右),覆盖了机器性能,业务用户数,率等众多指标检测。而利用最少的人为参与同时及时准确发现这些指标数据的异常波动,是业务稳定性的重要保证。 但是这些数据不但数量众多,而且不同业务的曲线也有截然不同的特征:2. KPI分类:由于KPI数量众多,且形状各异,故先对海量KPI数据进行分类,包括离线和在线2个模块: ...原创 2022-02-13 18:38:11 · 751 阅读 · 0 评论 -
异常检测及其分布集成
异常检测算法种类繁多,包括聚类,树,统计分布,机器学习,深度学习等多种形式,下面对一些常见问题进行了自己的总结:1.如何选型?主要看算法原理和数据分布:如下图所示,第一二张图的异常点容易成一个团,形成局部离群点,而图三则是全局离群点,不同的离群方式应当采用不同的算法,比如图1,2用聚类,图3用孤立森林。一个非常好用的异常检测工具包:https://github.com/yzhao062/pyod2.算法集成。算法种类多,有时候单一算法并不能满足要求,需要对多算法做测试甚至进行集成,以原创 2021-08-16 15:09:39 · 407 阅读 · 0 评论 -
分布式机器学习总结
目前主流的分布式架构包括:1.基于mapreduce模型的spark-mllib,采用数据分布式+同步的模式,缺点是对异步和模型分布式不支持,但是社区完善。2.基于参数服务器的Multiverso,既可实现数据分布式,也可实现模型分布式,同时支持异步和同步,也可实现大规模的参数更新。3.基于数据流图的tensorflow,可以和1,2结合组成复杂的分布式机器学习网络。4.3种模式的区别:5.各种框架对比图, angel是腾讯开源的参数服务器框架,spark是mapredu原创 2021-08-02 22:07:46 · 963 阅读 · 0 评论 -
go goroutine并发编程原理
在研发机器学习平台的时候用到了go,但是对其底层原理还是一知半解,正好最近在学习<<MIT6.824>>分布式框架,也是用Go实现,在这里梳理一下go并发编程的原理:goroutine是go的并发编程实现的机制,go 通过gmp模型实现其并发编程,原理如下:几个重要参数:1.p的个数,小于等于机器核心总数。m通过循环一个个消耗G.2.m的个数,默认为10000,大部分休眠。操作系统内部的调度机制负责调度m。基本原理:通过本地队列和全局队列进行g的调度,参考下.原创 2021-07-25 13:21:08 · 120 阅读 · 0 评论