大数据工程师技能图谱

大数据通用处理平台

  • Spark
  • Flink
  • Hadoop

分布式存储

  • HDFS

资源调度

  • Yarn
  • Mesos

机器学习工具

  • Mahout
  • Spark Mlib
  • TensorFlow (Google 系)
  • Amazon Machine Learning
  • DMTK (微软分布式机器学习工具)

数据分析/数据仓库(SQL类)

  • Pig
  • Hive
  • kylin
  • Spark SQL,
  • Spark DataFrame
  • Impala
  • Phoenix
  • ELK
    • ElasticSearch
    • Logstash
    • Kibana

消息队列

  • Kafka(纯日志类,大吞吐量)
  • RocketMQ
  • ZeroMQ
  • ActiveMQ
  • RabbitMQ

流式计算

  • Storm/JStorm
  • Spark Streaming

日志收集

  • Scribe
  • Flume

编程语言

  • Java
  • Python
  • R
  • Ruby
  • Scala

数据分析挖掘

  • MATLAB
  • SPSS
  • SAS

数据可视化

  • R
  • D3.js
  • ECharts
  • Excle

机器学习

机器学习基础

  • 聚类
  • 时间序列
  • 推荐系统
  • 回归分析
  • 文本挖掘
  • 决策树
  • 支持向量机
  • 贝叶斯分类
  • 神经网络

机器学习工具

  • Mahout
  • Spark Mlib
  • TensorFlow (Google 系)
  • Amazon Machine Learning
  • DMTK (微软分布式机器学习工具)

算法

一致性

  • paxos
  • raft
  • gossip

数据结构

  • 栈,队列,链表
  • 散列表
  • 二叉树,红黑树,B树

常用算法

  • 排序
    • 插入排序
    • 桶排序
    • 堆排序
    • 快速排序
  • 最大子数组
  • 最长公共子序列
  • 最小生成树
  • 最短路径
  • 矩阵的存储和运算

云计算

  • 云服务
    • SaaS
    • PaaS
    • IaaS
  • Openstack
  • Docker
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值