HDinsight 视频学习总结

HDinsight

HDinsight 是一个 open source eco-system.
里面搭载了很多目前市场上非常前卫的大数据应用和软件。
目前HDinsight 在市场上的优势是 open source，Customizable ，extensible，Enterprise ready，managed 和 secure。
当然开发人员最注重的是里面的 High avaiablity, mutiple gateways, self-healing system, monitored and supported by microsoft.
HDinsight 与 Azure其他各个产品 有着深度集成。高兼容性。
据说是self-healing技术也是非常强大的，在很多问题发现之前就已经被解决了。这也是其中的一大卖点。

本次学习记录是根据b站视频 微软v课堂 hdinsight 企业数据分析
https://www.bilibili.com/video/BV1nJ411R7vm/?spm_id_from=333.788.videocard.1

HDinsight 6 大考虑问题以及解决方案

• Analytics Workloads
• Storage
• Security
• Monitoring
• Cost Control
• Migration

Analytics Workloads

有关 Analytics Workloads，一般分为批处理和流处理。

批处理

HDinsight 给出的批处理解决方案有2个, 分别是 使用 spark 和 hive。

Spark - 构建目的是建造通用大数据处理引擎

• 支持 批处理 流处理 交互式查询
• 一站式
• 数据放在内存中， 提供更好性能，
• 专为ETL 和机械学习所打造
• 还有 GraphX 库

Hive- 是通过数据仓库衍生而来的

• 拥有数据仓库独有功能，materialized views ，automatic caching， 基于行或者列的权限控制
• 多用户共同使用场景所设计，
• 拥有高并发性。

下面两张图分别为 spark 和 hive的不同优点以及何时选取spark 和 hive

以上两张图分别截取与原学习视频

流处理

HDinsight 给出的流处理解决方案有2个, 分别是 使用 spark streaming 和 storm。
根据视频所属 HDInsight 4.0 已经不支持storm了。 一站式的spark 开发出的新功能 Spark continues streaming 已经逐渐取代了storm的位置。
微软这里也是强烈推荐 spark。

Spark streaming

• 拥有更好的 through put
• Spark continues streaming - 低延迟

Storm

• 无延迟处理 或者低延迟 event
• 社交媒体 或者 订单

Storage 存储

HDInsight给出了 3个 有关存储的解决方案，分别是 ADLS Gen 1，ADLS Gen 2, 和 HBase。
这里给我的感觉 Gen 1 已经基本上被Gen 2取代。Gen 1 的话 可能是给一些老用户 不方便做 migration 或者 正在做 migration 所保留的吧。（这里只是猜测）
Gen2

• 适合分析类应用
• 可预估延迟
• 高through put 高达每秒 200g/s
• 可把用户 credential entity 从客户到传递到存储端
• 可支持 大数据分析一些需要的功能 automatic rename
• 使用rename blobs 加快读速

HBase

• 包含大量 写操作
• 读写速度快
• 延迟要求
• Accelerated write - read had log 直接写在manage disk上 大幅度减小延迟

下面图描述了各个的优势 还有 为什么 给Gen1， blob storage 用户的建议是做 data migration 去 gen2.

图片来自原学习视频。

Security 安全

对于HDInsight的安全性能，这里很多道关卡。
可以根据用户自定义所设置。
数据保护， middleware这些年用来自定义保护软件功能也是非常强大的。
网络安全性能也相当可靠。
进站流量 出站流量 认证授权

图片来自原学习视频。

Monitoring

Azure 一直以来都有一个非常强大的可视化系统，可显示流量在每个虚拟机上的分部，数据监控，等等强大功能。
保持全部解决方案的健康

Cost Control 成本控制

利用足够的数据，可以最大化利用每个虚拟机的资源分配，为用户节省每一笔钱。
在有必要的情况下可以自动作出 upgrade 和 downgrade。

Migration

便利支持 数据库的 data migration。

HDinsight 4大应用模块 eco-system

• Data Ingestion
• Data prep/management
• Advanced analytics
• BI/Visualization

HDInsight的使用

说完了大概的东西，那么下面来说说，如何使用 HDInsight。
（又挖了个坑 回头来填）

总结

通过这次学习，知道了HDInsight的大概，内部模块构成，市场优势。
在不同的情况下选取不同的框架。