信息技术导论——大数据
文章平均质量分 62
1.大数据概述
2.大数据的关键技术
3.大数据主要应用领域
xiaochuhe--kaishui
首届“盘古石杯”全国电子数据取证大赛创新作品赛全国总冠军,补天漏洞响应平台风云白帽战神榜榜单总榜第三,360众测优秀白帽子。
展开
-
大数据主要应用领域
一、大数据产业中国大数据产业 2018年,对于中国大数据产业而言,是一个具有重要标志的年份。大数据产业园大数据产业的聚集区 产业化项目的孵化区二、大数据的主要应用农业大数据 工业互联网 服务业应用(一)农业大数据(1)大数据理论和技术在农业上的应用和实践,是指运用大数据理念、技术和方法,解决农业或涉农领域数据的采集、存储、分析与应用等一系列问题,然后以此来指导农业生产经营。这里所讲的农业大数据就是指以大数据分析为基础去解决一系列问题。 ...原创 2022-03-10 00:03:16 · 8739 阅读 · 6 评论 -
大数据的关键技术(二)
七、数据清洗技术(1)数据仓库中的数据是面向某一主题的数据的集合,这些数据从多个业务系统中抽取而来且包含历史数据,这样就避免不了有的数据是错误数据、有的数据相互之间有冲突,这些错误的或有冲突的数据显然是我们不想要的,称为“脏数据”。 (2)我们要按照一定的规则把“脏数据”“洗掉”,这就是数据清洗。 (3)需要清洗数据的主要类型:残缺数据、错误数据、重复数据。 (4)数据清洗的内容:一致性检查、无效值和缺失值的处理。 (5)常用工具 ①、DataWrangler ②、Go.原创 2022-03-08 15:33:20 · 2031 阅读 · 6 评论 -
大数据的关键技术(一)
一、大数据处理的基本流程——采集、存储、分析和实现①数据采集->②数据归整->③数据存储->④数据处理->⑤数据呈现二、大数据技术数据采集宇预处理 数据采集和管理 数据处理宇分析 数据安全与隐私保护(一)数据采集与预处理:联机分析处理(OLAP)与实时处理分析 (二)数据存储与管理:对结构、非结构、半结构等海量数据进行存储(关系数据库、非关系数据库、数据仓库、分布式文件系统) (三)数据处理与分析:利用 MapReduce...原创 2022-03-07 23:46:25 · 8165 阅读 · 7 评论 -
大数据技术
一、大数据出现的背景(1)信息技术进步 (2)云计算技术的兴起 (3)数据资源化的趋势 二、大数据的定义大数据(big data),是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 三、大数据的技术支撑(一)信息存储——存储设备容量不断增加(二)信息传输——网络带宽不断增加(三)信息存储——CPU处理能力大幅...原创 2022-03-06 00:20:04 · 935 阅读 · 0 评论