大数据
文章平均质量分 88
不要em0啦
这个作者很懒,什么都没留下…
展开
-
大数据技术(一)
利用文件系统、关系数据库、数据仓库、并行数据库,分布式文件系统、NoSQL数据库、NewSQL数据库等,实现对结构化、半结构化、非结构化数据的存储和管理。大数据的采集通常采用多个数据库来接收终端数据,包括智能硬件端、多种传感器端、网页端、移动APP应用端等,并且可以使用数据库进行简单的处理工作。过程:它通过各种技术手段把外部各种数据源产生的数据进行实时或非实时地采集,获得各种类型的结构化、半结构化以及非结构化的海量数据并加以利用。需要清洗的数据的主要类型: 残缺数据、错误数据、重复数据。原创 2024-03-03 01:35:31 · 664 阅读 · 0 评论 -
大数据与云计算、物联网、人工智能
通过在多个租户之间的资源复用,运营管理维护资源,有效节省开发应用的成本。人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以与人类智能相似的方式做出反应的智能机器,该领域的研究包括:机器学习、知识图谱、自然语言处理、人机交互、计算机视觉、生物特征识别、AR/VR等7个关键技术。物联网中的关键技术包括:识别和感知技术(二维码、RFID、传感器等)、网络与通信技术(远距离无线连接的全球数据网络,近距离的蓝牙技术、红外技术和Zigbee技术)、数据挖掘与融合技术等(云计算、云存储、云服务)原创 2024-03-03 01:26:41 · 1157 阅读 · 0 评论 -
大数据核心技术概论
大数据基石三大论文:GFS(Hadoop HDFS)、BigTable(Apache HBase)、MapReduce(Hadoop MapReduce)。搜索引擎的核心任务:一是数据采集,也就是网页的爬取;二是数据搜索,也就是索引的构建。数据采集离不开存储,索引的构建也需要大量计算,所以存储容器和计算能力贯穿搜索引擎的整个更迭过程。原创 2024-03-02 17:51:29 · 820 阅读 · 0 评论 -
大数据概述
2010年:大数据技术体系开始在国内火热2015年:国务院印发《促进大数据发展行动纲要》2016年:发改委发布关于组织实施促进大数据发展重大工程的通知2017年:工信部印发大数据产业规划(2016-2020)2020年:国务院指示十四五规划大数据重点发展2022年:国务院印发十四五数字经济发展规划由此可见,国家对于大数据越来越重视。同时,伴随着信息全球化的发展,大数据也成为了很多行业的基础。我们随时随地都在创造数据。原创 2024-03-02 17:15:05 · 1077 阅读 · 0 评论