硅谷
文章平均质量分 56
JasonZhang079
这个作者很懒,什么都没留下…
展开
-
大数据处理质量概览
不同领域、不同业务、不同项目对大数据处理会有不同要求,例如业务逻辑、数据模型、数据量、安全要求都有不同。 但是从技术层面,大数据处理通常有completeness, validity, timeliness, consistency, and integrity五类要求,来保证数据质量(正确性): •Completeness: Each subscriber should have a birth date because every person is born. No records should原创 2022-05-12 07:49:25 · 463 阅读 · 0 评论 -
基于人工智能的可预见性大型设备维护方案设计
在Noodle AI的这些项目里面,亲历了基于人工智能的可预见性大型设备维护方案设计,这篇文章主要分享一些项目经验和个人心得。原创 2022-04-20 03:16:55 · 1256 阅读 · 0 评论 -
电子零件数据采集(网络爬虫,基于tensor flow的神经网络零部件数据分类)
一、问题概述:如何标准化从不同平台采集来的零部件数据 二、背景:电子零部件电商平台 三、爬虫、数据标准化系统架构介绍 四、解决方案介绍:基于tensor flow的神经网络零部件数据分类 ...原创 2022-04-20 03:12:34 · 587 阅读 · 2 评论 -
腾讯5000亿、阿里2000亿新基建,未来如何确保基础设施的全面监控 - 亚马逊大数据处理项目分享@硅谷
AWS网络监控项目中比较棘手的一个问题是,如何确保监控100% BGP BGP Session。 AWS云服务包括各种基础服务,例如S3,EC2,RDS,CloudWatch,以及大数据服务EMR,Elastic Search,甚至等等。 数据质量和审计有点像。 ...原创 2020-06-07 11:05:59 · 457 阅读 · 0 评论