大数据基础与应用笔记（第一周 初识大数据）

最新推荐文章于 2023-02-13 12:26:56 发布
最新推荐文章于 2023-02-13 12:26:56 发布
阅读量560 收藏
点赞数 1
分类专栏： python 文章标签： python 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Albert_Bolt/article/details/125577227
版权

大数据基础与应用笔记 第一周 初识大数据

内容来自中国大学MOOC，北京理工大学，大数据基础与应用课程，侵删。
如有错误，烦请指出。

大数据基础与应用笔记 第一周 初识大数据

一、大数据分析流程

1 - 1 - 处理平台

1. 数据获取

  • 获取数据

2. 数据清洗

  • 补充部分数据缺失的属性值
  • 统一数据格式、编码和度量
  • 检测和删除异常数据
  • 研究表明数据准备大概占 80% 的工作量

3. 数据管理

  • 对数据进行分类、编码、存储、索引和查询
  • 经历了文件管理、数据库、数据仓库、大数据时代新型数据管理系统
  • 向着低成本、高效率的存储查询技术方向发展
  • 数据安全与隐私保护受到广泛关注

4. 数据分析

  • 统计查询
  • 从数据中挖掘特定的模式
  • 预测分析

5. 数据呈现

  • 建立从输入数据到符合认知规律的可视化表征
  • 利用可视化图形呈现数据中隐藏的信息和规律
  • 能够创建可交互的视图
  • 具体包括高维数据可视化、网络和层次数据可视化、时空数据可视化、文本数据可视化等

二、智能医疗大数据

1. 大数据在健康医疗行业中应用价值

2.1 - 应用价值

2. 健康医疗大数据平台

2.2 - 1 - 平台架构2.2 - 2 - 平台架构2.2 - 3 - 平台架构2.2 - 4 - 平台架构

3. 健康医疗大数据应用

2.3 - 1 - 应用2.3 - 2 -场景示例2.3 - - 互联网医院应用场景

4. 健康大数据发展趋势及智能医疗

2.4 - 发展趋势2.4 - 人工智能赋能医疗领域

三、金融科技与大数据风控

3 - 1 - 方案概述3 - 2 - 金融云3 - 3 - 数据仓库3 - 4 - 业务流3 - 5 - 架构图3 - 6 - 系统逻辑架构3 - 7 - 实时风控主要数据流向3 - 8 - 实时决策平台扩招性3 - 9 - 业务规则开发及测试3 - 10 - 风控规则管理3 - 11 - 风险监测
典型案例：风控
3 - 12 - 风控13 - 13 - 风控2
典型案例：证券
3 - 14 - 证券

四、政务最多跑一次

4 - 1 - 全景 offerings4 - 2 - 大数据共享交换平台架构4 - 3 - 大数据共享交换平台技术架构4 - 4 - 特性14 - 5 - 特性24 - 6 - 特性34 - 7 -特性44 - 8 - 特性54 - 9 - 全国信用信息共享交换大数据云平台4 - 10 - 宜春4 - 11 - 西安4 - 12 - 嘉兴

Albert_Bolt
关注
专栏目录
2021年 全网最细大数据学习笔记（一）：初识 Hadoop
Amo Xiang的博客
04-04 4万+
文章目录一、大数据1、大数据的定义2、大数据的特点3、大数据行业应用4、Hadoop 与大数据5、其他大数据处理平台6、大数据人才三、 一、大数据 随着近来计算机技术和互联网的发展，大数据 这个名词越来越多地进入到我们的视野中，大数据的快速发展也无时刻影响着我们的生活。 1、大数据的定义 大数据从字面来理解就是 大量的数据。日常生活离不开数据，可以说每时每刻都在产生着数据。例如，一分钟可以做些什么事呢？在日常生活中，一分钟可能连一页书都看不完。但是一分钟内产生的数据却是庞大的。据统计，在一分钟内，YouTu
2021年 全网最细大数据学习笔记（五）：Zookeeper 集群
Amo Xiang的博客
06-17 1357
文章目录一、学前必备知识二、Zookeeper 简介三、Zookeeper 安装及配置、启动 Zookeeper 集群四、Zookeeper 数据模型以及节点类型五、ZooKeeper 的 shell 操作六、ZooKeeper Watcher(监听机制)七、ZooKeeper 选举机制7.1 全新集群选举7.2 非全新集群选举八、ZooKeeper 是如何实现数据一致性的呢？九、ZooKeeper Java API 操作 一、学前必备知识 2021年 全网最细大数据学习笔记（一）：初识 Hadoop 2
大数据挖掘、分析与应用学习笔记
weixin_46535177的博客
03-11 318
目前为止我们学习了环境部署、基本知识、条件语句与循环语句、数字猜谜游戏这四讲内容，那么我会把每一讲的主要内容做一下简介。 一、 环境部署 1 大数据挖掘、分析与应用展望 我们首先学习了关于“大数据”“数据挖掘（Data Mining）” “数据分析”三个词的概念，让我们对大数据有了初步的了解，接下来又通过一些例子让我们了解大数据的应用与展望。 2 python语言特征与历史 特征：（1）编译性语言...
大数据技术原理与应用笔记
Moliay的博客
02-13 2277
三次信息化浪潮。
大数据分析笔记——1
Rimon的博客
11-05 964
大数据计算架构 1、数据存储系统   数据存储系统包括数据采集层（系统日志、网络爬虫、无线传感器网络、物联网，以及各种数据源），数据清洗、抽取与建模（将各种类型的结构化、非结构化、异构数据转化为标准存储格式数据，并定义数据属性及值域），数据存储架构（集中式或分布式文件系统、关系型数据库或分布式数据库、行存储数据结构或列存储数据结构，键值对结构，哈希表（Hash Table）检索等）。   数据...
大数据挖掘分析与应用笔记
weixin_46532023的博客
03-11 216
第一讲、环境部署 1.Python是一种面向对象的解释型计算机程序设计语言 2.语言特征：编译性语言、解释性语言（python平台兼容性）、动态语言、静态语言、强数据类型（仅能强制转换类型安全的语言）、弱数据类型（一个变量可赋予不同数据类型的值） 3.python环境部署：网址www.python.org 选择的最低版本不小于3.5 配置完成python3环境后，配置IDE的工具，推荐vscode...
Spark大数据分与实践笔记（第二章 Spark基础-01）
Lydia868的专栏
08-19 2129
Spark于 2009 年诞生于美国加州大学伯克利分校的 AMP 实验室，它是一个可应用于大规模数据 处理的统一分析引擎。 Spark 不仅计算速度快，而且内置了丰富的 API ，使得我们能够更加容易编写程序 。
深入理解kafka核心设计与实践原理_读书笔记_第1章 初识Kafka
lightupworld的博客
06-08 758
第一章 初始Kafka1.1 基本概念1.体系架构2.主题Topic 、分区Partition 与 偏移量offset3.生产者分区分配策略4.多副本机制5.AR ISR OSR6. HW 、 LEO8.kafka同步复制 和 异步复制 机制 Kafka“扮演”三大角色 ·消息系统 Kafka 具备系统解耦、冗余存储、流量 峰、缓冲、异步通信、扩展性、 可恢复性等功能。 与此同时， Kafka供了大多数消息系统难以实现的消息顺序性保障 及 回溯消费的功能
2021年 全网最细大数据学习笔记（四）：Hadoop 之 HDFS的基本使用
Amo Xiang的博客
04-10 5967
文章目录一、学前必备知识二、Hadoop HDFS 命令1、HDFS 常用命令总览2、创建与查看 HDFS 目录3、本地计算机和 HDFS 间的文件复制4、复制与删除 HDFS 文件5、查看 HDFS 文件内容6、对比 hdfs dfs三、Java 操作 HDFS 一、学前必备知识 2021年 全网最细大数据学习笔记（一）：初识 Hadoop 2021年 全网最细大数据学习笔记（二）：Hadoop 伪分布式安装 2021年 全网最细大数据学习笔记（三）：Hadoop 集群的搭建与配置 二、Hadoop
大数据应用与挑战——《大数据分析与挖掘》学习笔记
xiaolunan666的博客
09-17 565
大数据应用及挑战 大数据无处不在，已被应用在以下领域： 宏观经济领域，如淘宝网利用成交额较高的商品价格来预测CPI 社交网络，如商家通过社交媒体来推广产品 农业领域，如英美采用大数据发展农业 商业模式创新领域，如大数据整合客户浏览信息，定制个性服务 医疗服务领域，如利用大数据提高图像分析和识别技术 但挑战也是巨大的，体现在以下方面： 数据量的快速增长，对存储技术提出了更大的挑战 既需要告诉信...
大数据原理与应用笔记
沙儿的博客
08-23 498
大数据、物联网，云计算共同构建了数据信息时代。 大数据的4个特性：大量化，多样化，快速化，价值密度低。 大数据技术的4个层次：数据采集，数据存储与管理，数据处理与分析，数据隐私与安全。 大数据的两大核心技术：分布式存储，分布式处理。 大数据典型的4个计算模式：批处理计算，流计算，图计算，查询分析计算。 批处理计算主要是针对大规模数据做批量处理，代表的技术产品有mapreduce、spark； 流计算是针对流数据的实时计算，代表的技术产品有storm、s4、flume等； 图计算是针对大规模图结构数据的处理，
python大数据基础与应用（北理慕课摘记）
weixin_42978338的博客
01-11 1930
python基础 内置数据类型 python特点： 弱数据类型、面向对象 基本内置类型对象 int 理论上无范围限制 #二、八、十、十六进制：0b1001、0o11、9、0x9 a = 0b1001 bin(a) #二进制输出，不使用类型转换使默认十进制 oct(a) #八 hex(a) #十六 float 无double类型 #50.0 == 50. == 5e1 #输出该PC支持的浮点范围与精度 import sys print(sys.float_info) complex 复数类型 3+4j c
大数据技术与应用 学习笔记（1）
qq_42713999的博客
03-04 564
Course One 老师一上课就问了一个问题：什么是大数据？ 作为大数据学院的学生，不得不说，对大数据只是有所耳闻，并不是很清楚。其实这都9012年了，大数据在各个方面已经完全入侵了我们的生活。 我们网购、上网、看剧、刷贴吧、玩游戏等等行为可以说都多多少少的涉及到大数据： 网购的时候，网站（或者APP）会通过大量的数据计算对我们的行为模式进行分析，比如我们购物的偏好是什么、喜欢在什么时段买东西诸...
《大数据技术原理与应用》笔记
热门推荐
zjlamp的博客
11-25 1万+
一、大数据概述 大数据的特征（4V）： 1、Volume，数据量大 2、Variety，数据类型多 大数据由结构化和非结构化数据组成： 10%的结构化数据，存储在数据库中； 90%的非结构化数据，与人类信息密切相关。 3、Velocity，处理速度快 4、Value，价值密度低   大数据的关键技术： 1、分布式存储 分布式数据库 分布式文件系统 2、分布式处理 分布...
大数据管理与应用专业总结笔记
Pantree00的博客
02-24 4586
大数据管理与应用专业： 数据科学教育特点：不仅依赖于传统的信息管理于信息系统专业，更依赖于计算机、数学、统计等学科。大数据专业十一门涉及广泛的交叉性的学科。 大数据时代的下的理念（维克托·迈尔·舍恩伯格）：一是更相关性而不是因果性；二是更关注数据的纷繁复杂，而不是数据的精准；三是全部数据，而不是抽样数据。 维克托·迈尔·舍恩伯格：维克托·迈尔-舍恩伯格是十余年潜心研究数据科学的技术权威，是最早洞见大数据时代发展趋势的数据科学家之一，也是最受人尊敬的权威发言人之一。 **目前的形势：**目前国内新增院校还不多
2022大数据学习笔记1
a1269936432的博客
09-19 1132
个人学习笔记
大数据技术学习笔记（一）—— 大数据概论
hu_wei123的博客
05-21 3397
1 大数据的概念 大数据：指无法在一定的时间范围内用常规的软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 主要解决海量数据的存储和海量数据的分析计算问题。 2 大数据的特点 大数据的特点简称 4V 特征： Volume（数据量大） Velocity（速度快） Variety（种类繁多） Value（价值密度低） 3 大数据生态圈 3.1 Hadoop 是什么 Hadoop是一个由Apache基金会所开发的分布式系
大数据知识点总结笔记 -- 应用篇
zhanggf的博客
03-22 894
周末两天，继续整理了近些年从事大数据工作经验以及调优，本次主要针对一些Hive应用层面。 一、事实表分类 1. 事务型事实表 事务型事实表，一般指随着业务发生不断产生的数据。特点是一旦发生不会再变化。 一般比如，交易流水，操作日志，出库入库记录等等。 典型案例--交易流水表： 2. 周期型事实表 周期型事实表，一般指随着业务发生不断产生的数据。 与事务型不同的是，数据会随着业务周期性的推进而变化。 比如订单，其中订单状态会周期性变化。再比如，请假、贷款申请，随着批复状态在周期性变化。 .
大数据技术与应用学习笔记
最新发布
05-31
好的，我会尽力回答你关于大数据技术与应用的问题，以下是我的笔记： 1. 什么是大数据？ 大数据是指数据量过大、处理复杂度高、价值密度低的数据。大数据具有“3V”特征：数据量大（Volume）、处理速度快（Velocity）、数据种类多（Variety）。 2. 大数据技术有哪些？ 大数据技术主要分为存储、处理、分析三个方面。常用的大数据技术包括：Hadoop、Spark、Hive、HBase、Storm、Kafka等。 3. 大数据的应用场景有哪些？ 大数据的应用场景非常广泛，包括但不限于以下几个方面： - 金融行业：风险控制、反欺诈、客户画像等； - 零售行业：销售预测、商品推荐、库存管理等； - 医疗行业：病人监测、疾病预测、数据分析等； - 交通行业：智能交通、交通拥堵预测、车辆管理等； - 教育行业：学生画像、教育资源管理、教学效果分析等。 4. 大数据的处理流程是什么？ 大数据的处理流程可以分为以下几个步骤： - 数据采集：收集原始数据； - 数据存储：将采集到的数据存储到大数据平台中； - 数据清洗：对数据进行清洗，去除脏数据； - 数据处理：使用大数据技术对数据进行处理和分析； - 数据可视化：将处理后的结果以图形方式展现出来。 5. 大数据的挑战有哪些？ 大数据的挑战主要包括以下几个方面： - 数据存储：海量数据的存储需要大量的存储空间； - 数据处理：海量数据的处理需要大量的计算资源； - 数据质量：大数据中存在大量的脏数据，需要进行数据清洗； - 数据安全：大数据中包含大量的敏感信息，需要保证数据安全； - 人才短缺：大数据技术需要专业的人才支持，但是目前人才供不应求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值