- 博客(4)
- 收藏
- 关注
RSS订阅原创 kafka教程3 (kafka基本概念)
总体概念关系图topictopic是生产者和消费者生产和消费的时候都必须制定的一个标识，一般用来标识某个业务一个topic包含多个partition，分布在不同的broker上，这里broker可以简单理解成一个broker技术kafka的一个逻辑节点创建topic的时候，可以指定topic的 partition 数量，以及副本数量，如下 /opt/cloudera/par...
2018-06-26 18:40:37
616
1
原创 log4j根据业务分出多个日志文件
很多时候，我们不同的业务日志要打印到不同的日志文件，比如我们一种日志是 数据库同步到数据仓库日志（db2dw） ，一种日志是 数据清洗日志(washdata) ，要分成2个不同日志文件进行记录看，具体的做法如下：1 在类里面确定好不同业务对应的日志名称，代码如下，这里就是刚刚说的不同的两种业务Logger logger = Logger.getLogger("**db2dw**...
2018-06-19 18:35:20
4297
原创 spark 教程4 (dataset 基础操作)
开发环境为idea，spark版本2.2，scala版本2.11，spark运行模式为本地运行1 配置好maven依赖，依赖如下，注意spark的依赖要选择对应scal版本的依赖 <dependencies> <dependency> <groupId&a
2018-06-08 12:35:36
2956
原创 spark教程3 (cdh5.12 添加 spark2.2 服务)
1.下载安装包 ssh到任一台集群中的节点cd /opt/cloudera/csdwget http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.2.0.cloudera2.jarcd /opt/cloudera/parcel-repowget http://archive.cloudera.com/spark2/pa...
2018-06-06 17:56:43
1946
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人