什么是数据科学-CSDN博客

本文链接：https://blog.csdn.net/yoggieCDA/article/details/100101610

数据科学是一个研究领域，涉及通过使用各种科学方法，算法和过程从大量数据中提取见解。它可以帮助您从原始数据中发现隐藏的模式。

由于数理统计，数据分析和大数据的发展，数据科学这个术语已经出现。

数据科学是一个跨学科领域，允许您从结构化或非结构化数据中提取知识。数据科学使您能够将业务问题转换为研究项目，然后将其转换回实用的解决方案。

在本教程中，您将学习

为什么是数据科学？

在这里，使用数据分析技术的重大优势：

数据是当今世界的石油。借助合适的工具，技术，算法，我们可以使用数据并将其转换为独特的业务优势
Data Science可以帮助您使用先进的机器学习算法检测欺诈
它可以帮助您防止任何重大的金钱损失
允许在机器中建立智能的能力
您可以执行情绪分析来衡量客户的品牌忠诚度
它使您能够做出更好，更快的决策
帮助您向合适的客户推荐合适的产品，以改善您的业务

数据科学组件

统计

统计学是数据科学中最关键的部分。它是大量收集和分析数值数据以获得有用见解的方法或科学。

可视化

可视化技术可帮助您使大量的数据易于理解。

机器学习

机器学习探索了算法的构建和研究，这些算法学习如何预测未来的数据。

深度学习

深度学习方法是新的机器学习研究，其中算法选择要遵循的分析模型。

数据科学过程

1.发现

发现步骤涉及从所有已识别的内部和外部来源获取数据，这有助于您回答业务问题。

数据可以是：

从Web服务器登录
从社交媒体收集的数据
人口普查数据集
使用API从在线资源流式传输数据

2.数据准备

数据可能有很多不一致，例如缺失值，空白列，需要清理的数据格式不正确。您需要在建模之前处理，探索和调整数据。数据越干净，您的预测就越好。

3.模型规划

在此阶段，您需要确定绘制输入变量之间关系的方法和技术。通过使用不同的统计公式和可视化工具来执行模型的规划。SQL分析服务，R和SAS 是用于此目的的一些工具。

4.模型建设

在此步骤中，实际的模型构建过程开始。在这里，数据科学家分发用于培训和测试的数据集。诸如关联，分类和聚类之类的技术应用于训练数据集。一旦准备好模型就针对“测试”数据集进行测试。

5.操作

在此阶段，您将提供包含报告，代码和技术文档的最终基线模型。经过全面测试后，模型将部署到实时生产环境中。

6.传达结果

在这个阶段，主要调查结果将传达给所有利益相关者。这有助于您根据模型的输入确定项目结果是成功还是失败。

数据科学工作角色

数据科学家

数据科学家是一名管理大量数据的专业人士，通过使用各种工具，技术，方法，算法等来提出令人信服的商业愿景。

语言：R，SAS，Python，SQL，Hive，Matlab，Pig，Spark

数据工程师

数据工程师的角色是处理大量数据。负责开发，构建，测试和维护大型处理系统和数据库等架构。

语言：SQL，Hive，R，SAS，Matlab，Python，Java，Ruby，C ++和Perl

数据分析师

数据分析师负责挖掘大量数据。寻找关系，模式，以及数据的趋势。之后，提供引人注目的报告和可视化，以分析数据，从而做出最可行的业务决策。

语言：R，Python，HTML，JS，C，C ++，SQL

统计员

使用统计理论和方法收集，分析数据，理解定性和定量数据。

语言：SQL，R，Matlab，Tableau，Python，Perl，Spark和Hive

数据管理员

数据管理员应确保所有相关用户都可以访问该数据库。他还确保它正确执行并保持安全，不受黑客攻击。

语言：Ruby on Rails，SQL，Java，C＃和Python

业务分析师

改善业务流程，是业务执行团队和IT部门之间的中介。

语言：SQL，Tableau，Power BI和Python

DataScience工具

数据分析	数据仓库	数据可视化	机器学习
R，Spark，Python和SAS	Hadoop，SQL，Hive	R，Tableau，Raw	Spark，Azure ML工作室，Mahout

数据科学与商业智能（商业智能）的区别

参数	商业智能	数据科学
方向	向后看	未来
数据源	结构化数据。主要是SQL，但有时候数据仓库）	结构化和非结构化数据。像日志，SQL，NoSQL或文本
途径	统计与可视化	统计，机器学习和图表
重点	过去，现在	分析与神经语言程序设计
工具	Pentaho ，Microsoft Bl，QlikView，	R，TensorFlow