大数据技术原理与应用
linjiayina
hello world!
展开
-
大数据技术原理与应用——Hadoop 再探讨
大数据技术与应用——Hadoop 再探讨9.1 Hadoop 的优化与发展Hadoop 的局限和不足1.抽象层次低。2.表达能力有限。3.开发者自己管理作业之间的依赖关系。4.难以看到程序整体逻辑。5.执行迭代操作效率低。6.资源浪费。7.实时性差。Hadoop 的改进和提升主要体现在两个方面:一方面:Hadoop 自身两大核心组件,MapReduce 和 HDFS 的架构设计改进。另一方面:Hadoop 生态系统其它组件的不断丰富,包括 Pig、Tez、Spark 和 Kafka原创 2020-05-19 20:54:13 · 1304 阅读 · 0 评论 -
大数据技术原理与应用——MapReduce
大数据技术原理与应用——MapReduce7.1.1 分布式并行编程概述MapReduce 是一种分布式并行编程框架数据处理能力提升的两条路线1.单核 CPU 到双核到四核到八核2.分布式并行编程:借助一个集群通过多台机器同时并行处理大规模数据集并行编程模型和传统的并行编程框架的区别7.1.2 MapReduce 模型简介MapReduce 中有两个重要的地方:一是策略,二是理念传统的计算方法——数据向计算靠拢MapReduce——计算向数据靠拢Map 函数Re原创 2020-05-14 19:18:35 · 1059 阅读 · 0 评论 -
大数据技术原理与应用——数据仓库
大数据技术原理与应用——数据仓库8.1数据仓库的概念根本目的数据仓库概念数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。数据仓库的数据都来自于数据源,数据源中的数据需要经过抽取、转换、加载这样一个过程,把它加载到数据仓库,这个抽取、转换、加载这个过程一般简称为 ETL,加载到数据仓库以后,可以通过里面的 OLAP 服务器和数据挖掘引擎对上层用户提供服务构建一个基础,就可以对外提供数据挖掘、报表、分析、查询等等应用。数据仓库基本上保留了你历史上所有数据原创 2020-05-13 17:03:12 · 715 阅读 · 0 评论 -
大数据技术原理与应用——NoSQL数据库
大数据技术原理与应用——NoSQL数据库5.1 NoSQL 简介特点1.灵活的可扩展性传统的关系型数据库由于自身设计机理的原因,通常很难实现“横向扩展”,在面对数据库负载大规模增加时,往往需要通过升级硬件来实现“纵向扩展”。但是,当前的计算机硬件制造工艺已经达到一个限度,性能提升的速度开始趋缓,已经远远赶不上数据库系统负载的增加速度,而且配置高端的高性能服务器价格不菲,因此寄希望于通过“...原创 2020-04-13 18:18:55 · 3290 阅读 · 0 评论 -
大数据技术原理与应用——分布式数据库 HBase
大数据技术原理与应用——分布式数据库 HBase4.1 概述4.1.1 从 BigTable 说起BigTable 是一个分布式存储系统BigTable 起初用于解决典型的互联网搜索问题建立互联网索引1.爬虫持续不断地抓取新页面,这些页面每页一行地存储到 BigTable 里2.MapReduce 计算作业运行在整张表上,生成索引,为网络搜索应用做准备搜索互联网3.用户发起网络搜...原创 2020-03-22 09:51:29 · 2215 阅读 · 0 评论 -
大数据技术原理与应用——大数据存储与管理
大数据技术原理与应用——大数据存储与管理1.分布式文件系统(1)计算机集群结构集群的概念集群是指将多台服务器整合在一起,每台服务器都实现相同的业务,做相同的事情。每台服务器并不是缺一不可,它存在的作用主要是: 缓解并发压力、提升计算性能 单点故障转移问题传统版集群结构示意1.传统集群使用多个处理器和专用高级硬件的并行化处理装置2.紧密/集中构造阿姆达尔定律——并行度和可...原创 2020-03-08 16:31:58 · 7551 阅读 · 0 评论 -
大数据技术原理与应用——大数据处理架构 Hadoop
大数据技术原理与应用——大数据处理架构 Hadoop1.概述Hadoop项目结构Hadoop的安装与使用原创 2020-02-27 16:36:16 · 1069 阅读 · 0 评论 -
大数据技术原理与应用——第一章 大数据概述
第一章 大数据概述1.1 大数据时代1.1.1 第三次信息化浪潮信息化浪潮发生时间标志解决的问题代表企业第一次浪潮1980年前后个人计算机信息处理Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普等第二次浪潮1995年前后互联网信息传输雅虎、谷歌、阿里巴巴、百度、腾讯等第三次浪潮2010年前后物联网、云计算和大数据信息爆炸亚...原创 2020-02-18 16:47:40 · 10919 阅读 · 0 评论