![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
番茄炒蛋213
stay hungry,stay foolish!
展开
-
Flink获取外部传递参数的两种方式
目录一、前言二、实现2.1 通过参数方式直接传递2.2 通过配置文件来获取参数值一、前言在Spark或者Flink中,我们会对接Kafka,Kafka的参数比较多,如果我们希望通过灵活的方式修改参数,而不是把参数值硬编码到代码中,那么可以通过以下两种方式。二、实现我们可以使用Java的内置工具类ParameterTool.get()的方式获取传递的参数值2.1 通过参数方式直接传递/** * 从args中获取参数值 * 工具类:org.apac.原创 2020-06-11 10:36:39 · 4731 阅读 · 1 评论 -
CDH5.16.2安装部署(二)MySQL5.7.11离线部署
1、解压及创建目录[root@hadoop001 cdh5162]# tar -xf mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz /usr/local/[root@hadoop001 local]# mv mysql-5.7.11-linux-glibc2.5-x86_64 mysql[root@hadoop001 local]# mkdir mysql/arch mysql/data mysql/tmp2、创建my.cnf[root@hadoop001原创 2020-05-17 18:41:06 · 548 阅读 · 0 评论 -
CDH5.16.2安装部署(三) CDH部署
一、离线部署cm server及agent1.1 拷贝cm包到其他节点[root@hadoop001 cdh5162]# scp cloudera-manager-centos7-cm5.16.2_x86_64.tar.gz hadoop002:~/cdh5162/[root@hadoop001 cdh5162]# scp cloudera-manager-centos7-cm5.16.2_x86_64.tar.gz hadoop003:~/cdh5162/1.2 所有节点创建目录及解压..原创 2020-05-17 18:34:16 · 978 阅读 · 0 评论 -
CDH5.16.2安装部署(一)准备工作
一、集群规划真正离线部署:mysql cm( server agent 主从架构 ) parcel文件hadoop001:mysql cm-server cm-agent nn snn dn rm nm zkhadoop002:cm-agent dn nm broker zkhadoop003:cm-agent dn nm broker zk原则:1.1 选择第一台 配置不是太强的作为 工具节点 mysql cm-server cm-agent1.2 选择2...原创 2020-05-17 15:20:01 · 807 阅读 · 0 评论 -
Kafka Eagle的安装部署
一、简介Kafka Eagle是一个用于监控和管理Kafka的系统,可以很方便的管理和可视化Kafka集群的一些信息,例如Broker详情、性能指标趋势、Topic集合、消费者信息等官网:http://www.kafka-eagle.org/下载链接:https://github.com/smartloli/kafka-eagle-bin/archive/v1.4.6.tar.gz...原创 2020-04-22 19:07:14 · 661 阅读 · 0 评论 -
Spark Streaming中foreachRDD的使用及闭包问题的产生处理
一、前言 foreachRDD是用来把Spark Streaming的数据sink到外部系统,但是使用的时候,这个算子将会被执行在driver进程中,而从driver到executor必然会涉及到序列化的问题。二、测试。需求:把流处理的WC结果写到MySQLMySQLUtilsobject MySQLUtils { /** * 获取连接 ...原创 2020-04-20 23:15:44 · 391 阅读 · 0 评论 -
Hadoop的压缩格式
1、 hadoop中的压缩格式压缩格式 文件扩展名 是否可分割 压 缩 比 由 高 到 低 压 缩 时 间 由 长 到 慢 BZIP2 .bz2 是 GZIP .gz 否 LZO ...转载 2020-04-13 08:46:16 · 319 阅读 · 0 评论 -
Kafka的基本使用(一)
一、Kakfa介绍官网:http://kafka.apache.org/中文:http://kafka.apachecn.org/1.1Kafka是什么?Kafka一个高吞吐量的分布式发布订阅消息系统。1.2Kafka干什么?从官网中我们了解到Kafka主要有两类应用1)实时流处理管道,相当于message queue,作为消息中间件,目前被广发使用2)实时流式应用...原创 2020-04-12 21:49:04 · 182 阅读 · 0 评论