大数据
文章平均质量分 78
xuankuxiaoyao
做一个欢乐的社畜打工人
展开
-
flink1.12部署在yarn上
环境介绍CDH 6.2flink1.12.1flink部署到yarn上参考:https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/deployment/resource-providers/yarn.htmlStarting a Flink Session on YARNOnce you’ve made sure that theHADOOP_CLASSPATHenvironment variable...原创 2021-03-09 08:21:53 · 1268 阅读 · 1 评论 -
中台学习
目录中台分类理想和现实的中台对比:中台和平台、微服务、中间件的区别理想VS现实中的中台实施效果对比数据中台起源:数据中台理解:数据中台传奇人物参考资料:中台分类业务中台:数据中台:技术中台:算法中台:理想和现实的中台对比:中台的最大价值就是避免重复制造轮子,当中台中的业务被复用的项目越多,则中台的价值越大,反之亦然。中台和平台、微服务、中间件的区别中台就是将业务里面共性的部分抽取出来,形成业务服务;平台是与业务无关的..原创 2021-01-25 10:58:10 · 503 阅读 · 1 评论 -
大数据方面的核心技术
目录分类1一、大数据采集二、大数据预处理三、大数据存储四、大数据分析挖掘分类2一、数据采集与预处理二、数据存储三、数据清洗四、数据查询分析五、数据可视化分类1简单来说,从大数据的生命周期来看,无外乎四个方面:大数据采集、大数据预处理、大数据存储、大数据分析,共同组成了大数据生命周期里最核心的技术,下面分开来说:一、大数据采集大数据采集,即对各种来源的结构化和非结构化海量数据,所进行的采集。数据库采集:流行的有Sqoop和ETL,传统的关.原创 2021-01-23 17:31:39 · 1713 阅读 · 1 评论