数据处理
CDA·数据分析师
CDA数据分析认证官网:https://www.cdaglobal.com/?utm_source=csdn-cda-exam1
数据分析认证大纲资料:https://www.cdaglobal.com/certification.html?utm_source=csdn-cda-exam1 #nav3
分享数据分析和人工智能领域的干货或外文翻译,囊括数据挖掘、数据分析、大数据分析、机器学习、深度学习、神经网络、算法工程、AI科技。还有职场经验交流、时代热门资讯,以及人生的点点滴滴。望大家一起努力,成为更好的自己!
展开
-
CDA深度分享:数据自由之路——数据产品及数据分析职业发展路径
本次CDA深度分享活动于11月27日,在CDA北京西二旗校区举行,活动邀请到的嘉宾是曾津老师,曾老师任职去哪儿网资深数据产品经理,中央财经大学财政学硕士,CDA II建模分析师。2015年4月加入去哪儿网,此前在咨询公司及游戏公司从事数据分析、战略分析相关工作,有多年数据分析及实战经验。加入去哪儿网负责机票服务平台、用户产品部用户画像及BI系统建设与应用。曾老师从四个部分,分别是什么样的人适合...原创 2018-12-03 17:12:47 · 564 阅读 · 0 评论 -
数据处理框架分类都有哪些?
就目前而言,不管是系统中的历史数据,还是持续不断接入系统中的实时数据,只要数据是可访问的,我们就能够处理这些数据。按照处理的数据形式和得到结果的时效性进行分类,数据处理框架就可以分为两类:批处理系统和流处理系统。数据处理框架中的批处理就是一种用来计算大规模数据集的方法。批处理的过程包括将任务分解为较小的任务,分别在每个计算机上进行计算运行,根据数据分析的结果对数据的重新组合,然后通过计算机的计...原创 2018-12-07 15:26:19 · 420 阅读 · 0 评论 -
大数据处理技术之数据清洗
我们在做数据分析工作之前一定需要对数据进行观察并整理,这是因为挖掘出来的数据中含有很多无用的数据,这些数据不但消耗分析的时间,而且还会影响数据分析结果,所以我们需要对数据进行清洗。在这篇文章中我们重点给大家介绍一下数据清洗的相关知识。那么什么是数据清洗呢?一般来说,数据清洗是指在数据集中发现不准确、不完整或不合理数据,并对这些数据进行修补或移除以提高数据质量的过程。而通常来说,数据清洗框架由5...原创 2019-03-19 17:06:00 · 6630 阅读 · 0 评论 -
大数据处理技术之冗余消除
我们在分析数据的时候,需要对数据进行整理,这样就能够方便数据分析工作。当然,数据加工是数据分析工作之前的工作,而在大数据处理中有很多数据整理的技术,其中最常见的就是冗余消除,那么什么是数据冗余呢?在这篇文章中我们就详细地给大家解答一下这个问题。首先我们说一下数据冗余,其实数据冗余就是指数据的重复或过剩,这是许多数据集的常见问题。数据冗余无疑会增加传输开销,浪费存储空间,导致数据不一致,降低可靠...原创 2019-03-19 17:13:34 · 4056 阅读 · 0 评论 -
大数据处理技术之数据集成
大数据处理技术是一个十分重要的工作,就好比做菜,我们做菜之前就需要对蔬菜进行清洗,洗过的菜我们才能够吃的放心,同时还有助于我们的身体健康。而大数据处理就好比清洗蔬菜一样,当我们对数据整理以后,我们才能够分析出一个准确的结果。而大数据处理的技术有很多,其中最常见的就是数据集成,那么什么是数据集成呢?下面我们就给大家介绍一下这些知识。自学习大数据的时候,我门会学到很多的知识,也会了解到很多的知识点...原创 2019-03-20 16:40:23 · 3708 阅读 · 0 评论 -
如何做好数据预处理(二)
在上一篇文章中我们提到的数据预处理的数据清洗,数据清洗就是对于肮脏数据的清除,而肮脏数据主要有异常值和缺失值,我们在进行数据预处理的时候不但要注意数据的清洗,还需要注意数据的集成、数据变换、数据规范的内容,只有这样,我们才能够为下一步工作做好铺垫。首先说说数据集成吧,所谓数据集成就是将多个数据源合并放到一个数据存储中,当然如果所分析的数据原本就在一个数据存储里就不需要数据的集成了。一般来说,数...原创 2019-04-10 17:22:52 · 289 阅读 · 0 评论 -
大数据时代,数据信息的无处遁形
作者 | 小天数据挖掘,英文名叫Data mining,一般是指从大型数据库中将隐藏的预测信息抽取出来的过程,而更为精确的解释则是“从数据中挖掘知识”。这个概念乍眼一看有点懵,小天举个栗子解释,相信就比较容易理解:假如某东需要预测用户在未来5天内的购买需求,以达到精准营销的目的,那么此时完全可以借助数据挖掘实现。通过数据挖掘技术和机器学习算法,在以某东真实的用户、商品和行为数据(脱敏...转载 2019-07-23 16:11:07 · 220 阅读 · 0 评论 -
从数据结构到算法:图网络方法初探
作者 | 朱梓豪来源 | 机器之心如果说 2019 年机器学习领域什么方向最火,那么必然有图神经网络的一席之地。其实早在很多年前,图神经网络就以图嵌入、图表示学习、网络嵌入等别名呈现出来,其实所有的这些方法本质上都是作用在图上的机器学习。本文将根据近两年的综述对图网络方法做一个总结,为初入图世界的读者提供一个总体的概览。什么是图图是一种常见的数据结构,用于表示对象及其之间的关系。其中...转载 2019-08-16 17:18:49 · 367 阅读 · 0 评论