大数据
文章平均质量分 56
JasonZhang079
这个作者很懒,什么都没留下…
展开
-
大数据处理质量概览
不同领域、不同业务、不同项目对大数据处理会有不同要求,例如业务逻辑、数据模型、数据量、安全要求都有不同。但是从技术层面,大数据处理通常有completeness, validity, timeliness, consistency, and integrity五类要求,来保证数据质量(正确性):•Completeness: Each subscriber should have a birth date because every person is born. No records should原创 2022-05-12 07:49:25 · 478 阅读 · 0 评论 -
基于人工智能的可预见性大型设备维护方案设计
在Noodle AI的这些项目里面,亲历了基于人工智能的可预见性大型设备维护方案设计,这篇文章主要分享一些项目经验和个人心得。原创 2022-04-20 03:16:55 · 1265 阅读 · 0 评论 -
电子零件数据采集(网络爬虫,基于tensor flow的神经网络零部件数据分类)
一、问题概述:如何标准化从不同平台采集来的零部件数据二、背景:电子零部件电商平台三、爬虫、数据标准化系统架构介绍四、解决方案介绍:基于tensor flow的神经网络零部件数据分类...原创 2022-04-20 03:12:34 · 594 阅读 · 2 评论 -
腾讯5000亿、阿里2000亿新基建,未来如何确保基础设施的全面监控 - 亚马逊大数据处理项目分享@硅谷
AWS网络监控项目中比较棘手的一个问题是,如何确保监控100% BGP BGP Session。AWS云服务包括各种基础服务,例如S3,EC2,RDS,CloudWatch,以及大数据服务EMR,Elastic Search,甚至等等。数据质量和审计有点像。...原创 2020-06-07 11:05:59 · 464 阅读 · 0 评论