- 博客(3)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 改造CDH HDFS服务NameNode，DataNode进程的日志输出格式为Json
背景由于项目需要，需要将CDH中HDFS服务的进程的log输出格式改造成json格式，以便于后续使用Spark的处理，因此对其进行改造修改NameNode进程的日志输出格式在CDH中进行配置：log4j.appender.RFA.layout.ConversionPattern = {"time":"%d{yyyy-MM-dd HH:mm:ss,SSS}","logtyp...
2018-02-24 23:52:46
951
原创 Sqoop抽取数据到MySQL时遇到的一个坑
背景对数据进行标准的ETL流程的操作 Sqoop ==data==> Hive ETL==sqoop==> MySQLxxx.properties文件mysql_driver="jdbc:mysql://localhost:3306/ruozedata_bi"mysql_username="root"mysql_password="root"driver_...
2018-02-21 00:42:02
1792
原创 Spark RDD深入理解
通过RDDscala源码来解读什么是RDDResilient Distributed DatasetRDD通过RDDscala中的注释来解读RDD的概念RDD五大特性RDD五大特性在源码中的体现分析RDDscala分析JdbcRDDscala分析getPartitions方法分析compute方法图解RDD通过RDD.scala源码来解读什么是RDD...
2018-02-18 16:29:36
2498
hadoop2.7.3 自定义实现机架感知(Java版本)
2017-04-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人