![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 81
SeanQhl
good good study,day day up
展开
-
华为大数据HCIE数据挖掘--ETL
什么是ETLETL是一个数据管道,负责将分布的、异构的数据(Extract阶段)根据一定的业务规则进行数据清洗、转换、集成(Transform阶段),最终将处理后的数据加载到数据目的地(Load阶段),比如数据仓库。数据抽取需要注意的点有哪些?检查数据类型;确保数据完整;去除重复数据;去除脏数据;确保导出数据属性与源数据一致数据抽取有哪几种方式更新抽取当源系统中有新的数据加入或发生数据更新操作时,系统会发出提醒。这是最简单的一种数据抽取方式。全量抽取当数据源中有新的数据加入或发生数原创 2022-03-20 18:58:51 · 1174 阅读 · 0 评论 -
华为大数据HCIE大数据论述题-数据挖掘流程
前言关于数据中数据流程是经常考的内容,在笔试题中和论述题经常出现。这里做个简单总结。请阐述数据挖掘流程CRISP-DM模型CRISP-DM(跨行业数据挖掘标准流程)是Cross Industry Standard Process —Data Mining的缩写,是当今数据挖掘业界通用流行的标准之一。它强调数据挖掘技术在商业中的应用,是用以管理并指导Data Miner有效、准确开展数据挖掘工作以期获得最佳挖掘成果的一系列工作步骤的规范标准。CRISP-DM模型的基本步骤包括: 商业理解 数据理解原创 2022-02-28 16:59:20 · 667 阅读 · 0 评论 -
华为大数据HCIE实验论述题常考题型3_聚类问题
文章目录聚类问题评估标准有哪些?聚类算法有哪些?K中心点和KMEANS算法有哪些区别?计算两个组合数据点间距离常用的方法DBSCAN算法优缺点聚类问题评估标准有哪些?在聚类任务中,常见的评价指标有:纯度(Purity)、兰德系数(Rand Index, RI)、F值(F-score)和调整兰德系数(Adjusted Rand Index,ARI) 、轮毂系数(Silhouette Coefficient ).聚类算法有哪些?聚类问题大体上分三类,基于原型的 KMEANS KMEANS++,基于层次聚原创 2022-01-10 13:31:34 · 972 阅读 · 0 评论 -
华为大数据HCIE实验论述题常考题型1_分类问题评估标准
目录题目1 阐述混淆矩阵?题目2 分类问题评估标准中查准率和召回率,正确率,错误率公式是什么?召回率和查准率各自用于什么场景?为什么会用F1分数?题目3 PR曲线如何绘制?ROC曲线如何选择模型?题目1 阐述混淆矩阵?????:正元组,感兴趣的主要类的元组。????:负元组,其他元组。TP:真正例,被分类器正确分类的正元组。????????:真负例,被分类器正确分类的负元组。????????:假正例,被错误地标记为正元组的负元组。????????:假负例,被错误地标记为负元组的正元组。混淆矩原创 2022-01-07 14:10:10 · 1834 阅读 · 0 评论 -
华为大数据HCIE实验论述题常考题型1_回归问题评估标准
目录前言问题解答前言我们知道,模型再建立完毕之后,是不能立刻去部署,模型建立之后。下一步,需要对模型进行评估。标签列是连续的一般我们称为回归模型。问题回归的模型评估标准有哪些?公式是什么?如何使用?解答对于回归的模型评估的标准有很多,我们参考sklearn官方手册。所有的评估标准都在sklearn.metrics这个包的下面这里包含了许多评估标准,我们常见的评估标准explained_variance_score:解释回归模型的方差得分,其值取值范围是[0,1],越接近于1说明自变量越能解原创 2021-12-31 14:32:57 · 2227 阅读 · 0 评论 -
华为大数据学习笔记——ModelArts
ModelArts前言环境准备实验步骤前言华为面向各行业AI应用的开发与研究,提供全流程、普惠的基础平台类服务,支持多种类别的通用AI能力(包括但不限于图像、视频、语音、自然语言处理,对话机器人等),能够帮助企业应用开发者迅速集成AI能力到业务应用,也可以支持城市、制造等行业解决方案实现。异构计算硬件是加速AI计算的异构计算资源池,包括高性能的AI计算芯片使能的服务器(GPU,华为Ascend),高速高性能网络和存储,作为整体平台的硬件基础;AI计算框架支持端、边、云独立和协同的统一的AI领域的训练原创 2021-09-04 17:28:30 · 854 阅读 · 2 评论 -
大数据——降维
降维什么是降维?为什么需要降维?奇异值与特征值特征值奇异值什么是降维?我们每天都在产生大量的数据。事实上,世界上90%的数据是在过去3-4年中产生的!这些数字确实令人难以置信。下面只是一些数据收集的例子:脸谱网收集你喜欢的数据,分享,邮寄,参观的地方,你喜欢的餐馆等等。你的智能手机应用程序收集了很多关于你的个人信息。Amazon在网站上收集你购买、查看、点击等的数据。赌场跟踪每个顾客的每一个动作随着数据的生成和收集的不断增加,可视化和绘制推理变得越来越具有挑战性。最常用的可视化方法之一是图表。原创 2021-09-04 17:08:58 · 399 阅读 · 0 评论