大数据技术图谱

• 大数据处理框架

  • Spark

    • RDD
    • Spark SQL
    • Spark Streaming
    • MLLib

  • Hadoop

    • HDFS(分布式文件系统)
    • Mapreduce（计算框架）
    • Yarn（资源管理平台）
      a. https://www.iteblog.com/archives/1755.html
    • Pig（piglatin 语句到 mapreduce 的映射）
    • Hive（数据仓库，提供 SQL）
    • Mahout（机器学习算法的 mapreduce 实现库）

  • Kafka

    • Storm
      Ali JStorm (https://github.com/alibaba/jstorm)
    • ELK
    • ElasticSearch
    • Logstash
    • Kibana

• 数据库

  • SQL
  • MySQL
  • MongoDB
  • Cassandra
  • Redis
  • SQLite
  • bsddb
  • HBase

• 编程语言

  • JAVA
    a. JVM内存结构、内存模型 、对象模型那些事 https://mp.weixin.qq.com/s/B2OYctnr8vPndhGgX2QD4A
    b. JMM内存模型（原子性、可见性、有序性）https://blog.csdn.net/javazejian/article/details/72772461
  • Python
  • R
  • Ruby

• 数据分析挖掘

  • MATLAB
  • SPSS
  • SAS

• 数据可视化

  • R
  • D3.js
  • ECharts
  • Excle

• 人工智能

  • 机器学习
    
    • 聚类
    • 时间序列
    • 推荐系统
    • 回归分析
    • 文本挖掘
    • 决策树
    • 支持向量机
    • 贝叶斯分类
    • 神经网络

• 算法

  • 一致性

    • paxos
    • raft
    • gossip

  • 数据结构

  • 栈，队列，链表
  • 散列表
  • 二叉树，红黑树，B树

  • 图

  • 常用算法

  • 排序
    
    • 插入排序
    • 桶排序
    • 堆排序
    • 快速排序
  • 最大子数组
  • 最长公共子序列
  • 最小生成树
  • 最短路径
  • 矩阵的存储和运算

• 云计算

  • 云服务
    
    • SaaS
    • PaaS
    • IaaS
    • Openstack
    • Docker

• 转自

  • http://www.stuq.org/subject/skill-map/