大数据每周一学
陈奉刚11
大数据开发与问题定位
展开
-
大数据维护指南(1)
FI维护组每年遇到的问题几千,相信我们的经验能减少你们的走的弯路。针对大S的开发场景。我个人构建每周一学。主要讲解二次开发,开发过程中的注意点。 spark篇: 1、spark-submit 任务 spark-submit 任务由客户端提交。修改任何配置都只是需客户端Conf下的文件。包括访问hbase,hdfs的客户端参数。 2、如果想修改日志级别,可以修改下面文件的配置。log4j.p...原创 2019-07-31 12:49:45 · 1030 阅读 · 0 评论 -
大数据维护指南(2)
1、关于代码编写: 大S 主要采用spark来控制主要流程。不管是kafka到hdfs,还是HDFS到hbase,以及后面的任务。所以spark的代码一定要高质量。 1、如果你spark访问hbase,访问kafka,尽量参考我们提供的spark提供的用例代码。我相信你有能力写好自己的接口,但你不该发费太多时间去研究这些。后续调优发的时间远比你用的多。除非提供的接口已经无法满足你的要求。 我们...原创 2019-07-31 13:09:53 · 585 阅读 · 0 评论 -
大话hbase
两周没有写东西了,因为不知道传递什么东西好,今天才知道这里大部分人对大数据基础组件都是很了解,所以这周开始大白话基础组件。 大话hbase: 功能1:基于某一条索引快速定位该条数据。 其他功能:其他功能都是基于功能1之上。为了功能而功能。比如统计所有的条数counter。比如查询某一段时间断范围的值等等。都是基于上面的功能之上做的增强。 我们谈谈设计:定位也就是查找。怎么才能快速定位。 ...原创 2019-07-31 15:13:51 · 266 阅读 · 0 评论