数据科学
文章平均质量分 93
Sandy_Star
day day up
展开
-
07.文本分析
前言:基于人大的《数据科学概论》第七章。主要内容为文本分析的意义、文本分析的任务与方法、文本分析可视化、文本分析工具。文章目录一、文本分析的意义二、文本分析的任务与方法1、文本分析的主要任务文本分析的过程包括几个主要的步骤:2、句子切分、分词、词性标注、语法分析(1)句子切分和分词(2)词性标注(3)语法树3、文本索引和检索4、文本分类(classification)(1)文本分类系统的主要功能模块(2)使用朴素贝叶斯算法实现文本分类(3)文本聚类(4)文档摘要(5)主题抽取(6)命名实体识别、概念抽.原创 2021-01-02 19:07:59 · 4445 阅读 · 0 评论 -
06.流数据处理 (数据科学概论)
前言:基于人大的《数据科学概论》第六章的内容。主要提纲为:流数据处理应用、流式处理和批处理的区别、流数据模型、数据流上的查询、流数据处理系统的查询处理、查询处理的基础算法、流数据处理系统。文章目录一、流数据处理应用二、流式处理和批处理的区别1、批处理2、流式处理三、流数据模型流数据模型和传统的关系模型的区别:四、流数据上的查询实例数据流上的查询和传统数据库上的查询的区别(1)一次性查询和持续查询(2)预定义查询和即席查询对系统的影响五、流数据处理系统的查询处理5.1内存需求5.2近似查询结果5.3滑动.原创 2021-01-01 21:13:22 · 1141 阅读 · 0 评论 -
03.OLAP与结构化数据分析(数据科学概论)
前言:基于人大的《数据科学概论》第三章OLAP与结构化数据分析。主要分为三部分,OLAP联机分析处理、高性能OLAP系统的关键技术、结构化数据分析工具。一、OLAP—Online Analytic Processing联机分析处理简说:大量的业务系统采用关系数据库来进行数据管理后,随着业务的不断发展,各个企业事业单位和政府部门积攒了大量的业务数据。为了避免数据处理时间过长,对业务顺利运行产生干扰,一般在业务数据库之外建立数据仓库系统。它从业务数据库**抽取、转换、装载**数据,帮助人们在上面执行各种.原创 2020-12-22 21:57:55 · 1394 阅读 · 2 评论 -
02.OLTP与数据服务(数据科学概论)
前言:基于人大的《数据科学概论》,主要给第二章做个总结。了解什么是数据服务、数据服务的特点、面向OLTP应用的RDBMS数据库技术、面向数据服务的NoSQL数据库技术、NewSQL数据库技术。有些概念还需自己去细抠。目录:文章目录一、什么是数据服务二、数据服务的特点三、面向OLTP应用的RDBMS(关系数据库管理系统)数据库技术什么是OLTP?关系数据库技术与SQL查询预语言关系模型的完整性关系操作什么是SQL语言查询优化器事务处理并发控制与恢复技术数据库的安全性并行数据库和分布式数据库四、面向数据.原创 2020-12-19 20:30:33 · 511 阅读 · 1 评论 -
01.数据科学的简单介绍(概论)
前言:文章基于人大的《数据科学概论》,主要是总结第一章—数据科学概论 的一些重点内容。里面有些比较细的概念,有心的读者可以自己去查找资料。文章目录1.1数据科学的定义(1)数据科学1.2数据科学和统计学、人工智能机器学习、数据挖掘、数据库与数据处理、大数据分析、基于数据的决策 的关系(1)数据科学跨学科的特点(2)数据科学与数据库、大数据分析的关系(3)数据科学与基于数据的决策的关系1.3数据科学家1.4数据科学的基本原则(1)原则1:数据分析可以划分成一系列明确的阶段(2)原则2:描述性分析与预测性.原创 2020-12-14 11:27:28 · 1861 阅读 · 0 评论