趣头条 大数据部 技术专栏

公司和团队介绍

 

1. 趣头条2年上市Nasdaq，目前市值35亿美金。2019年用户日活还会翻几倍。

2. 大数据团队主要职责：大数据系统运维，大数据系统平台开发。

3. 大数据集群规模：2000台高配机器，数据量～50PB。

4. 扁平组织架构，要做的事情很多，人人都是leader

5. 技术氛围浓厚

 

我们的技术栈

 

1. 大数据系统技术栈：HDFS/YARN/Hive/Spark/Presto，Kafka/Flink/ES/Cassandra/HBase

2. 大数据平台组件：元数据管理，跨集群数据管理，数据生命周期管理，数据质量管理，离线任务调度平台，实时任务管理平台，资源监控报警，实时数据流管理，等等