数据科学导论
慕课笔记-数据科学导论
我在人间躺平的日子
这个作者很懒,什么都没留下…
展开
-
慕课笔记-数据科学导论-第一章引言-大数据时代/核心问题/主要特征/技术特征/社会价值
引言人类的信息文明起源于电子计算机技术的产生大数据时代IBM公司前首席执行官郭士纳的观点,IT领域基本每隔15年都会迎来一次重大的技术变革大数据时代的来临(3次信息化浪潮)信息技术的发展和不断的快速革新才造就了信息量的指数级增长信息量的不断堆积直接造就了大数据概念的出现。随着相关技术的不断成熟,人们终于迎来了大数据时代。信息技术的发展-四个核心问题信息采集大数据技术主...原创 2020-03-01 14:22:08 · 2732 阅读 · 8 评论 -
慕课笔记-数据科学导论-第二章大数据技术基础-大数据算法/数据类型/开发流程
大数据技术基础计算机操作系统操作系统统筹协调计算机硬件系统的工作,具体使CPU可以进行逻辑与数值运算,主存储器能够加载应用数据与程序代码,硬盘可以顺利存入与读出信息,输入设备、输出设备可以根据需要实时写入、写出必要信息等。因此,操作系统实际是整个计算机硬件系统的“CEO”,担负着整个计算机硬件系统的管理、协调和运作的全部任务。Linux操作系统三个发展阶段1.单一个人维护阶段2....原创 2020-03-01 14:37:45 · 1335 阅读 · 5 评论 -
慕课笔记-数据科学导论-第三章数据采集与预处理-大数据来源/采集方法/预处理流程/数据清洗
数据采集与预处理(1)大数据的来源信息来源1.信息管理系统信息管理系统主要通过用户输入和系统二次加工的方式产生数据,其产生的数据大多数为结构化数据,通常存储在数据库中。2.网络信息系统在本质上,网络信息系统是信息管理系统的延伸,是专属于某个领域的应用,具备某个特定的目的。3.物联网系统物联网是新一代信息技术,其核心和基础仍然是互联网,是在互联网基础上延伸...原创 2020-03-03 14:47:13 · 5891 阅读 · 5 评论 -
慕课笔记-数据科学导论-第四章大数据存储与管理-存储介质/数据存储模式/存储管理系统
大数据存储与管理数据的存储模式存储介质主要存储介质机械硬盘机械硬盘即传统普通硬盘,主要由盘片、磁头、磁头停泊区、磁头臂等组成读/写原理:机械硬盘的磁头可沿盘片的半径方向运动,加上盘片每分钟几千转的高速旋转,磁头就可以定位在盘片的指定位置进行数据的读/写操作。机械硬盘中所有的盘片都装在一个旋转轴上。每张盘片之间是平行的,在每个盘片的存储面上有一个磁头,磁头与盘片之间的距离比...原创 2020-03-03 14:59:54 · 1643 阅读 · 5 评论 -
慕课笔记-数据科学导论-第五章大数据计算框架-计算框架/批处理/流式处理/交互式/MapReduce/网站log日志/MR1v/YARN/Spark RDD/
大数据计算框架计算框架处理框架在某种意义上可称为处理引擎,处理框架按照所处理的数据状态分为批处理框架、流式处理框架及交互式处理框架。批处理框架一种计算大规模数据集的方法批处理模式使用的数据集通常有如下特征有界:数据集是数据的有界集合持久:数据通常存储在某种类型的持久存储系统中,如HDFS或数据库大量:通常为海量的数据集批处理需要访问全体记录才能完成计算工作,因此较...原创 2020-03-04 22:21:03 · 1502 阅读 · 13 评论 -
慕课笔记-数据科学导论-第六章数据挖掘-数据挖掘流程/技术/典型数据挖掘系统/对象/价值/定义/关联分析/Apriori/FP-growth/分类分析/决策树/最近邻/聚类分析
数据挖掘(1)数据挖掘的概念定义数据挖掘(Data Mining,DM)又被称为数据库中的知识发现(Knowledge Discovery from DataBase,KDD),是指从大量数据中提取隐含的、先前未知的、有价值的知识和规则。它是人工智能和数据库发展相结合的产物,是国际上数据库和信息决策系统较前沿的研究方向之一。流程(1)数据清洗(Data Cleaning)即对采...原创 2020-03-04 22:30:19 · 2289 阅读 · 2 评论 -
慕课笔记-数据科学导论-第七章数据可视化-数据可视化发展历程/分类/数据可视化工具/案例/科学可视化/信息可视化/可视化分析学
数据可视化(1)可视化(1)可视化的含义定义可视化是一种使复杂信息能够容易和快速被人理解的手段,是一种聚焦在信息重要特征的信息压缩,是可以放大人类感知的图形化表示方法。可视化为人类大脑与计算机这两个信息处理系统之间提供了一个接口。可视化对信息的处理和表达方式有其他方式无法取代的优势,其特点可总结为可视性、交互性和多维性。(2)可视化的发展历程SGI公司推出的GL三维...原创 2020-03-06 23:01:26 · 3944 阅读 · 4 评论 -
慕课笔记-数据科学导论-第八章大数据与云计算-云计算概念特点/分类/体系架构/大数据与云计算/应用/分布式计算/服务模式/主要技术
大数据与云计算(1)云计算的概念与特点1.定义Google:云计算是拥有开放标准和基于互联网服务的,可以提供安全、快捷和便利的数据存储和网络计算服务的系统。美国国家标准与技术研究院(NIST):云计算是一种应用资源模式,它可以根据需要用一种很简单的方法通过网络访问已配置的计算资源。这些资源由服务提供商以最小的代价或专业的运作快速地配置和发布。维基(Wiki):云计算是一种通过互联网以服...原创 2020-03-06 23:06:18 · 1728 阅读 · 3 评论 -
慕课笔记-数据科学导论-第九章大数据与人工智能-人工智能的发展历史/图灵测试/学科/表现形式/面临的问题/社会伦理问题/人工智能与大数据
大数据与人工智能(1)人工智能的发展历史1.机器人的出现和发展机器人的概念在人类想象中早已出现,代表了人类重塑自身,了解自身的强烈愿望西周巧匠偃师献给周穆王一个艺妓"偃师造人、唯难于心"17世纪达芬奇绘制西方世界第一个人形机器人,以齿轮为驱动装置,后来被花了15年制造出来-“机器武士”1738年,法国天才技师杰克·戴·瓦克逊发明了一只机器鸭,具有鸭的吃喝排泄游泳鸣叫等功能。其本意是想...原创 2020-03-09 19:11:42 · 1372 阅读 · 6 评论