大数据应用【大数据导论】

已于 2024-09-13 08:21:42 修改
阅读量1.6k 收藏 41
点赞数 52
分类专栏： 大数据入门到进阶 文章标签： 大数据 学习 经验分享 其他
于 2024-08-05 10:04:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81874719/article/details/140218256
版权
这里是阿川的博客，祝您变得更强

✨ 个人主页：在线OJ的阿川
💖文章专栏：大数据入门到进阶
🌏代码仓库：

写在开头

现在您看到的是我的结论或想法，但在这背后凝结了大量的思考、经验和讨论

在这里插入图片描述

在这里插入图片描述

目录

大数据应用前 必看
【大数据导论】—大数据序言
【大数据导论】—大数据、人工智能、云计算、物联网、区块链序言
【大数据导论】—大数据基础知识

1. 大数据在许多领域应用

1.1 互联网领域应用

  • 推荐系统
    在这里插入图片描述
    第一个使用推荐系统的企业amazon.cn
    在这里插入图片描述

  • 推荐系统概述
    在这里插入图片描述

  • 其中推荐系统的概念
    通过分析用户的历史记录，来了解用户的喜好，从而主动的为用户推荐感兴趣的信息，帮助用户个性化推荐需求。

  • 其中长尾理论
    在这里插入图片描述
    主要是描述电子商务网站
    商品销售类型繁多，但大多数不是热门商品（往往代表普遍需求），单个商品销售量有限，但总共非热门商品（往往代表个性需求）销售总量较多
    在这里插入图片描述

  • 其中推荐方法

    • 专家推荐
      在这里插入图片描述
    • 基于统计的推荐
      在这里插入图片描述
    • 基于内容的推荐
      信息过滤技术的延续和发展
      更多通过机器学习方法去描述内容的特征
      基于内容的特征发现与之相对应的内容
      在这里插入图片描述
    • 协同过滤算法
      利用近邻技术
      在这里插入图片描述

  • 其中推荐系统的应用

    • 电子商务
    • 在线视频
    • 在线音乐
    • 社交网络

1.2 生物医学领域应用

  • 流行病预测
    利用大量数据预测流行病，并建立流行疾病时空传导模型，从而确定流行病在各个时空传导路线及规律并更准确的评估及预测流行病
    在这里插入图片描述
  • 智慧医疗
    通过打造健康档案区域医疗信息平台，利用先进的物联网技术和大数据技术，从而实现患者、医护服务提供商、保险公司等之间的无缝协同，让患者体验一站式的医疗护理和保险服务
    在这里插入图片描述
    三大优点
    • 促进优质资源共享
    • 避免患者重复检查
    • 促进医疗的智能化
      在这里插入图片描述
  • 生物信息学
    研究 生物信息的采集、处理、存储、分析、解释等方面的学科，并结合计算机科学与生命科学所形成的一门新学科
    在这里插入图片描述

1.3 物流领域的应用

  • 智能物流
    利用大数据、物联网、云计算技术，使物流能融合人的智能，实现物流优化调动和有效配置，从而使物流效率提升
    在这里插入图片描述
    三个发展阶段

    • 自动化
    • 信息化
    • 网络化
      在这里插入图片描述

    智能物流的重要作用

    • 提高物流的信息化和智能化水平
      例如：
      库存水平的确定
      运输道路的选择
      自动跟踪的控制
      自动分拣运行
      物流中心管理问题
      智能化的建议
      在这里插入图片描述
    • 降低物流成本和提高物流效率
      建立智能物流分拣系统，有效提高生产效率，保证生产系统的可靠性
      在这里插入图片描述
    • 提高物流活动的一体化
      整合物联网相关技术，集成分布式仓储管理，流通渠道建设，从而实现物流中的运输、存储、包装、装卸等环节一体化，高效地为用户提供物流服务。
      在这里插入图片描述

    真实案例
    阿里巴巴的菜鸟
    利用天网加地网进行信息整合，提升物流效率
    在这里插入图片描述
    在这里插入图片描述

1.4 城市管理领域应用

  • 智能交通
    在这里插入图片描述
    利用信息技术、控制技术、数据通讯传输技术、计算机技术、电子传感技术，实时 获得交通的各种信息，分析各种交通状况，发布交通的诱导信息，从而来优化交通流量
    在这里插入图片描述
    整体框架

    • 基础设施层
      包括
      • 摄像头
      • 感线圈
      • 射频信号接收器
      • 交通信号灯
      • LED板
    • 平台层
      将传感器的数据进行分析，从而指导上层业务
      包括
      • 网络中心
      • 信号接收与控制中心
      • 数据存储和处理中心
      • 设备应用管理中心
      • 应用支撑中心
      • 查询服务和联动中心
    • 应用层
      • 卡口查控
      • 电警审核
      • 路况发布
      • 诱导系统
      • 信号控制
      • 指挥调度
      • 辅助决策
      • 应用程序
        在这里插入图片描述
        在这里插入图片描述

  • 环保监测
    在这里插入图片描述

    • 其中 森林监测
      在这里插入图片描述

    • 其中 环境保护
      在这里插入图片描述

  • 城市规划
    在这里插入图片描述
    包括

    • 测绘数据
    • 统计资料
    • 各种行业数据
      在这里插入图片描述

  • 智能安防
    通过跨区域跨领域安防系统联网实现数据共享、数据公开以及智能化分析及报警
    数据类型

    • 监控视频数据
      利用海量摄像头产生的海量监控视频数据

    • 结构化数据
      在这里插入图片描述

    • 半结构化数据

    • 非结构化数据
      在这里插入图片描述

1.5 其他领域应用

大数据在

  • 金融领域
    在这里插入图片描述

  • 汽车领域
    在这里插入图片描述

  • 零售领域
    在这里插入图片描述

  • 餐饮领域
    在这里插入图片描述

  • 电信和能源领域
    在这里插入图片描述

  • 体育和娱乐领域
    在这里插入图片描述

  • 安全领域
    在这里插入图片描述

等领域均有应用
即在当今的时代，大数据与时代同行
在这里不加以叙述，否则写不完

2. 夹带私货

若你能看到看到这篇文章且能看到这，则说明你我有缘，留个关注吧，后面还会接着计算机408、底层原理、开源项目、以及数据、后端研发相关、实习、笔试/面试、秋招/春招、各种竞赛相关、简历相关、考研、学术相关……，祝你我变得更强

好的，到此为止啦，祝您变得更强

在这里插入图片描述
想说的话

学习来源厦门大学林子雨老师的 《大数据导论》（反反复复学习了5遍哈并且做了相应的练习 然后才进行的这篇博客的书写）
实不相瞒，写的这篇博客要写五个小时以上（加上自己学习和纸质笔记，共七小时吧），很累，希望大佬支持一下

在这里插入图片描述

道阻且长 行则将至
个人主页：在线OJ的阿川大佬的支持和鼓励，将是我成长路上最大的动力 在这里插入图片描述
在线OJ的阿川
关注
专栏目录
大数据导论
fenfyue的博客
01-21 1877
三天打鱼两天晒网——写CSDN博客 大致看看大数据导论这本书 这个假期被老师一问自己想学点什么结果我迷茫了不知道学点什么好，这本书在上课期间我就想好好好读一下，但是肯定是没有时间看的，现在正好不知道学点什么虽然说是大数据专业的孩儿，但是这么久了我还是对我们专业没有太多的了解，总是感觉这样子是挺失败的一个大数据er。这个假期每天写博客的flag在前天就立了，但是都没有写，在今终于打开了它！内容是有点多哈，反正自己就是一个小白了，多看看总没错。 关于本书 编写背景 大数据的蓬勃发展，大数据领域人才的需求越来越大
大数据导论习题及答案.pdf-教程与笔记习题
05-18
大数据导论习题及答案.pdf
大数据导论大数据导论大数据导论
10-29
大数据导论大数据导论大数据导论
大数据导论——大数据应用
qq_50496178的博客
12-03 2147
什么是推荐系统 通过分析用户的历史记录来了解用户的喜好，从而主动为用户推荐其感兴趣的信息满足用户的个性化推荐需求；推荐系统研究用户的兴趣偏好，进行个性化计算，帮助用户从海量信息中去发掘自己潜在的需求； 推荐方法 专家推荐：人工推荐，由资深专业人士来就行物品的筛选和推荐，需要较多的人力成本； 基于统计的推荐：基于统计信息的推荐，易于实现，但对用户个性化偏好的描述能力较弱； 基于内容的推荐：通过机器学习的方法描述内容的特征，基于内容的特征来发现与之相似的内容； 协同过滤推荐：应用最早和最成功的推荐方
大数据导论（4）---大数据应用
m0_62881487的博客
01-21 1188
这些数据中蕴含着惊人的能量，释放这些能量可以颠覆企业的传统营销模式，产生新的商业业态，让企业的营销效率提高的同时，使消费者能够得到更好、更加个性化的服务。例如，推荐同一风格的歌曲，或是推荐同一歌手的其他歌曲。推荐系统是大数据在互联网领域的典型应用，它可以通过分析用户的历史记录来了解用户的喜好，从而主动为用户推荐其感兴趣的信息，满足用户的个性化推荐需求。推荐系统通过发掘用户的行为记录，找到用户的个性化需求，发现用户潜在的消费倾向，从而将长尾商品准确地推荐给需要它的用户，进而提升销量，实现用户与商家的双赢。
大数据导论-林子雨著-教材配套习题和答案.docx
08-12
"大数据导论-林子雨著-教材配套习题和答案" 大数据导论是林子雨编著的教材，旨在为读者提供大数据相关知识的总体概述。本教材配套习题和答案涵盖了大数据概述、云计算、新兴技术、大数据产业、机器学习、知识图谱等...
大数据导论：认识大数据.pdf
06-21
【大数据应用】大数据不仅在信息技术产业中发挥着重要作用，也在各个商业领域中展现出了其价值。例如，通过分析社交媒体数据，企业能深入了解消费者行为和需求，提升市场销售策略；在金融领域，大数据用于欺诈检测，...
清华大学精品大数据课程PPT课件 大数据导论 全套PPT 共7个章节.rar
02-13
清华大学精品大数据课程PPT课件（35页） 第1章 大数据概念与应用.pptx 清华大学精品大数据课程PPT课件（40页） 第2章 大数据的架构.pptx 清华大学精品大数据课程PPT课件（48页） 第3章 大数据采集及预处理.pptx 清华...
flink增量检查点启动恢复的时间是很久的，业务上不能接受，怎么处理
goTsHgo的博客
09-11 1052
针对增量检查点恢复时间长的问题，可以从多个方面进行优化，包括合并检查点、提升存储性能、优化 RocksDB 配置、并行化恢复过程等。同时，也可以考虑替代方案，如多活架构、预热恢复、降低状态依赖和改进状态管理策略。此外，在业务层面上，适当调整业务容忍度和提高用户透明度也是有效的应对措施。通过综合应用这些策略，可以有效地降低恢复时间并提高业务的连续性和可靠性。
【Elasticsearch系列六】系统命令API
最新发布
檀越的博客
09-16 1297
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨。
从AI到大数据，数字技术服务平台全栈赋能企业升级
smjt2024的博客
09-11 670
海量的数据中蕴含着丰富的信息和价值，数字技术服务平台能够收集、整理和分析这些数据，为企业提供精准的市场洞察和决策支持。企业可以通过参加树莓集团举办的培训课程和研讨会，了解最新的数字技术趋势和应用案例，提升自身的数字技术水平。从技术咨询、解决方案设计到系统实施和运维，数字技术服务平台为企业提供一站式的服务，让企业无需担心技术难题，专注于自身的核心业务。树莓集团的数字技术服务平台，以其先进的技术、专业的服务和丰富的经验，为企业提供了全栈赋能。在数字时代，让我们共同利用数字技术服务平台，开启企业升级的新篇章。
消息中间件有哪些常见类型
weixin_57763462的博客
09-15 598
需要注意的是，这些类型并不是严格互斥的，有些消息中间件可能支持多种消息传递模式或结合了多种类型的特点。在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。在发布/订阅模型中，消息被发布到特定的主题（Topic）上，所有订阅了该主题的消费者都可以接收到这个消息。消息代理是一种更通用的概念，它涵盖了上述的点对点和发布/订阅模型，以及可能的其他消息传递模式。消息代理作为消息的存储和转发中心，负责消息的路由、过滤、持久化等功能。这类消息系统使用日志结构来存储消息，提供了极高的吞吐量和可扩展性。
大数据-132 - Flink SQL 基本介绍 与 HelloWorld案例
永远好奇，无限进步！
09-12 2458
Flink SQL 是 Apache Flink 提供的一种高层次的查询语言接口，它基于 SQL 标准，为开发者提供了处理流式数据和批处理数据的能力。Flink SQL 允许用户使用标准 SQL 查询语言在数据流和数据表上执行复杂的操作，适用于多种应用场景，如实时分析、数据流处理、机器学习等。Flink SQL 的一大特点是流处理和批处理的统一性。通过同一套 SQL 语法，用户可以同时处理静态数据（批处理）和动态数据（流处理）。这使得应用程序的开发更加简化，因为可以用相同的逻辑编写实时流数据处理和历史数据的
【大数据】探索怎么从一段话中解析关键信息（寄件人相关信息）
一个不断前行的程序者
09-12 619
通过使用Spacy的NLP功能，我们成功实现了从文本中提取姓名、地址和电话号码的功能。需要注意的是，这个简单的示例可能在处理复杂文本时效果不佳，实际应用中可能需要进一步的优化和训练。此外，对于电话号码的识别，我们简单地使用了数字长度作为判断依据，这并不准确。在实际应用中，我们可以使用正则表达式来更准确地识别电话号码。希望这个博客能够帮助你了解如何使用NLP技术实现文本信息解析功能。如果有任何疑问，欢迎在评论区留言讨论！
测试-Testcontainers
Flying_Fish_roe的博客
09-12 646
Testcontainers 允许你通过自定义 Docker 容器，适用于不在官方支持列表中的服务或应用。// 获取 Redis 的地址和端口 String address = redis . getHost();} } }// 获取 Redis 的地址和端口 String address = redis . getHost();} } }// 获取 Redis 的地址和端口 String address = redis . getHost();} } }
SuperMap GIS基础产品FAQ集锦(20240911)
SuperMap技术控
09-12 3533
SuperMap GIS基础产品FAQ集锦(20240911)
海量数据查找最大K个值：数据结构与算法的选择
许你安然的博客
09-13 1103
本文详细探讨了如何在海量数据集中查找最大的K个值，从基础的排序方法到高效的优先队列/堆方法，再到分布式计算框架的应用，以及一些优化策略。通过合理的数据结构和算法选择，我们可以大大提高处理大数据集的效率，确保在有限的时间内获得所需的结果。希望这些信息能够帮助开发者在实际项目中更好地应对大数据处理挑战。
Hadoop如何进行分布式存储和处理大数据？
oOBubbleX的博客
09-12 1574
Hadoop是一个开源的分布式系统基础架构，它由多个组件组成，这些组件协同工作，以支持大规模数据集的存储和处理。本文是Hadoop如何进行分布式存储和处理大数据的详细说明：
评论 47
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值