实战大数据平台开发架构讲解,免费大数据教学视频等你来拿

大数据背景

对于业务数据数据量的暴增,用户智能化需求提升。在这个DT的时代,大数据的开发也就应运而生了,大数据开发必须解决两个问题,大数据量如何统一存储,大数据量如何统一计算。针对这些问题产生了很多大数据方面的技术框架。到今天为止,大数据方面的技术可以说已经相当成熟,BAT在大数据方面都应用十分的广泛,大数据量的分析使得数据更有了价值,运营有了通过大数据的分析可以做出精确的营销计划,通过收集用户的操作日志,分析用户行为,给出用户精确和有价值的推荐。人工智能也是通过海量数据做分析,通过算法做出智能准确的行为。

大数据hadoop的应用

大数据应用分析

  1. 统计
  2. 推荐
  3. 机器学习
  4. 人工智能,预测(算法)

SQL on Hadoop

  1. Hive
  2. Phoneix(基于HBase)
  3. Spark SQL

hadoop 2.x 的概述

  • hadoop 包含的四大模块
     ==Hadoop Common==
          为其他Hadoop模块提供基础设施。
		  
     ==Hadoop HDFS==
      一个高可靠、高吞吐量的分布式文件系统
	  
     ==Hadoop MapReduce==
       一个分布式的离线并行计算框架
	   
     ==Hadoop YARN==
       一个新的MapReduce框架,任务调度与资源管理

上述可以看出Hadoop的重点就主要包含三部分,hdfs存储,MapReduce分布式计算过程,Yarn管理计算任务,包含了资源调度,任务协调,任务监控。

  • HDFS 服务功能
    html>

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览