云原生及大数据

云原生概念

云原生 = 微服务 + DevOps（需求导入，管理，代码编写，提测流程，测试自动化，运维，测试环境部署，线上环境部署，测试环境隔离等等） + 持续交付 + 容器化

云原生的优势

• 自动化
• 模糊开发，测试，运行的边界
• 成本，弹性

k8s原理

• Pod
• Deployment/Replication Controller
• Service

自动扩缩容

大数据知识脉络

MapReduce算法

Map 输出转成key-value对，不计算；Reduce计算输出出现频次

HDFS核心原理,分布式文件

NameNode 和DataNodes

hive原理

• 可以写sql语句般使用map reduce应用;group by、where 做的是map；sum、count等做的是reduce
• 优雅的实现了join操作

spark为什么会比Map Reduce更快

• Reduce和map的接洽
• 数据依赖内容优先，而非HDFS优先

Spark家族

• Spark SQL:通过SQL语句操作Spark的DataFrame or DataSet结构，或者类似JDBC的链接数据源，另外Hive on SparkSql可以提供更快的执行速度
• Spark Streaming:窗口式的流式处理
• Spark MLlib：机器学习框架

Spark Streaming和Flink的区别

• 窗口和流式的区别；Spark Streaming并不一定完全是流式处理伪流式处理，Flink是真正意义上的流式处理

Hbase原理

大数据应用

使用Hive解决资损核对