关于一面数据
我们是一家做大数据的公司,专注于多元化的数据采集,存储,建模,挖掘与可视化。目前在日化、鞋服、零食、汽车行业都有成熟的解决方案和成功案例,已经服务了多家行业龙头。
下面是一些和公司有关的链接:
关于数据平台
数据平台负责公司的数据存储、仓库、清洗、监控等。在工作环节上,位于爬虫团队和数据分析团队之间。一个典型的场景是,爬虫团队抓取了一批数据,保存在 MySQL 里,我们把数据同步到 Hadoop (Hive),并做必要的清洗、转换、建模,提供给分析师做后续的分析使用。
我们用到的一些技术
Python:爬虫、数据清洗、Web 服务等都用了 Python
Go:爬虫、基础服务、高性能 API 等用了 Go 语言
MySQL/TiDB (官网):存储爬虫获取的数据,OLTP
Cassandra:存储爬虫获取的数据
Hive: 数据仓库,存储和 ETL
Impala:Hadoop 上的交互式 SQL 查询引擎,OLAP
AWS Redshift: OLAP 数据仓库
其他的还有 MongoDB、Redis、Vue、Docker、ElasticSearch、Kibana、Apache Airflow 等。
我们需要什么
公司目前处于快速发展状态,数据平台(数据仓库、ETL )团队急需新人来提升团队战斗力。目前准备招 2 ~ 3 个有经验的工程师,希望能满足这些条件:
必须会 Python,至少 1 年使用经验,有良好的编程风格
至少熟悉 MySQL 等关系型数据库的使用和简单的调优
用过 Hive、Redshift 等数据仓库
本科及以上学历,最好是计算机、数学或相关专业
尽可能提供 GitHub、技术博客地址
熟悉 Spark、Kafka、Airflow 等尤佳
基础好,学习能力强的实习生、应届生也可以考虑。
薪资福利
工资 15k-30k,也可以看我们在 拉勾的招聘页面
福利就不多说了,12 天年假、零食、生日会、篮球羽毛球什么的,官网有介绍。
工作地址:深圳 - 南山区 - 科技园 - 深南大道 9966 威盛科技大厦
欢迎大家来交流指导,有兴趣可以投简历到 hr@yimian.com.cn ,最好附上 GitHub 和个人技术博客链接