测试
哆啦丶赫
这个作者很懒,什么都没留下…
展开
-
创建Flink Maven项目,编写Flink程序并将jar包上传Linux环境,使用批处理方式进行词频统计
object WordCountTask {def main(args: Array[String]): Unit = {//从外部命令中获取参数val tool = ParameterTool.fromArgs(args)val input = tool.get(“input”)val output = tool.get(“output”)//创建执行环境val env = Exe...原创 2020-04-06 13:17:53 · 616 阅读 · 0 评论 -
kafka与flume启动命令
hadoop启动时保证active那台主机启动(leader)start-all.shstart-yarn.sh./zkServer.sh startbin/kafka-server-start.sh -daemon config/server.properties主题:bin/kafka-topics.sh --zookeeper spark1:2181 –create --repl...原创 2020-04-06 13:06:06 · 239 阅读 · 0 评论 -
在Hive中创建表同时关联HBase
在Hive中创建表同时关联HBaseCREATE TABLE hive_hbase_staff_A(id int,name string,job string,mgr int,hiredate string,sal double,comm double,deptno int)STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorage...原创 2020-04-06 12:54:27 · 238 阅读 · 0 评论 -
使用Flume采集流式数据发送到Kafka,再由Flink消费Kafka数据,实现车牌号统计
3.配置Flume监听5566端口,采集数据,channel使用memory channel4.运行Flume和Kafka,将Flume采集的数据发送到KafKa5.使用IDEA创建Maven工程,编写Flink程序,接收并消费KafKa中的数据6.统计出5s内车牌出现的总次数并打印到控制台7.统计出5s内所有车牌尾号是偶数的车牌号码并打印到控制台8.统计出10s内同一车牌出现次数超过2...原创 2020-04-06 12:49:01 · 640 阅读 · 0 评论 -
redis的序列化方式
Redis的关于jdk、json以及hash的相关测试package com.liuhe.test;import java.util.HashMap;import org.junit.Test;import org.junit.runner.RunWith;import org.springframework.beans.factory.annotation.Autowired;imp...原创 2019-12-10 20:42:58 · 113 阅读 · 0 评论