![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
随机
yiyiqi123
海上月是天上月
展开
-
开源镜像网站
https://mirrors.tuna.tsinghua.edu.cn/转载 2020-09-29 14:50:51 · 115 阅读 · 0 评论 -
git pull 出现冲突
出现以下错误:error: The following untracked working tree files would be overwritten by merge:doc/钃濋哺/lgame/datamore.shPlease move or remove them before you merge.AbortingUpdating 70a0b7c…aa0a44f意思是说更新下来的内容和本地修改的内容有冲突直接一条命令 git clean -d -fx 搞定...原创 2020-08-11 11:28:12 · 235 阅读 · 0 评论 -
git脚本命令
git命令脚本》》》git推送git clone “地址” 下载到本地git init // 初始化版本库git add . // 添加文件到版本库(只是添加到缓存区),.代表添加文件夹下所有文件git commit -m “first commit” // 把添加的文件提交到版本库,并填写提交备注git remote add origin 你的远程库地址 // 把本地库与远程库关联git push -u origin master // 第一次推送时git push or原创 2020-07-24 09:57:41 · 328 阅读 · 0 评论 -
idea生产数据模块
import java.io.{FileOutputStream, OutputStreamWriter}import java.text.{DecimalFormat, SimpleDateFormat}import java.util.Dateimport scala.collection.mutableimport scala.collection.mutable.ListBufferimport scala.util.control.Breaksobject ProductLog {p原创 2020-05-12 12:40:13 · 155 阅读 · 0 评论 -
ideaAPI对hbase进行操作
package com.bawei;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.;import org.apache.hadoop.hbase.client.;import org.apache.hadoop.hbase.util.Bytes;import java.io.IOException;public class Count {//创建连接private static Conne原创 2020-05-12 12:39:21 · 735 阅读 · 0 评论 -
大数据文档需求面试题
索引问题答案配图备注A1azkaban使用流程?类似工具(oozie乌贼)创建之前我们先了解下之间的关系,一个工程包含一个或多个flows,一个flow包含多个job。job是你想在azkaban中运行的一个进程,可以是简单的linux命令,可是java程序,也可以是复杂的shell脚本,当然,如果你安装相关插件,也可以运行插件。一个job可以依赖于另一个job,这种多个job和它们的依赖组成的图表叫做flow1.Command 类型单一 job 示例A.首先创建一个工程(proje原创 2020-05-12 00:30:05 · 7150 阅读 · 0 评论 -
综合分析平台
package com.sdg.consumer.myhbaseimport java.text.SimpleDateFormatimport java.utilimport com.sdg.consumer.myutils.{ConnectionInstance, HBaseUtil, PropertiesUtil}import org.apache.hadoop.conf.Configurationimport org.apache.hadoop.hbase.{HBaseConfigurati原创 2020-05-12 00:25:18 · 246 阅读 · 0 评论 -
list集合数据 基于CEP 进行恶意登录监控
import java.utilimport org.apache.flink.cep.PatternSelectFunctionimport org.apache.flink.cep.scala.CEPimport org.apache.flink.cep.scala.pattern.Patternimport org.apache.flink.streaming.api.TimeCha...原创 2020-04-14 00:51:55 · 361 阅读 · 0 评论 -
idea中连接mysql获取数据
package com.baweiimport org.apache.flink.api.common.typeinfo.BasicTypeInfoimport org.apache.flink.api.java.io.jdbc.JDBCInputFormatimport org.apache.flink.api.java.typeutils.RowTypeInfoimport org.a...原创 2020-04-14 00:00:26 · 789 阅读 · 0 评论 -
读取本地文件进行Hbaes表数据上传
package com.baweiimport org.apache.flink.configuration.Configurationimport org.apache.flink.streaming.api.functions.sink.{RichSinkFunction, SinkFunction}import org.apache.flink.streaming.api.scala....原创 2020-04-13 22:06:39 · 143 阅读 · 0 评论 -
基于端口和Flink CEP进行恶意登录监控
package commmmimport java.utilimport org.apache.flink.cep.PatternSelectFunctionimport org.apache.flink.cep.scala.CEPimport org.apache.flink.cep.scala.pattern.Patternimport org.apache.flink.stream...原创 2020-04-13 21:46:52 · 506 阅读 · 0 评论 -
基于本地进行恶意登录监控
package commmimport org.apache.flink.api.common.state.{ListState, ListStateDescriptor}import org.apache.flink.streaming.api.TimeCharacteristicimport org.apache.flink.streaming.api.functions.KeyedPr...原创 2020-04-13 21:41:22 · 247 阅读 · 0 评论 -
计算商品流量数据
//输出数据的样例类case class LogEvent(ip:String,userId:String,eventTime:Long,method:String,url:String)//定义窗口聚合结果样例类case class UrlViewCount(url:String,windowEnd:Long,count:Long)object word2 {def main(arg...原创 2020-04-13 21:39:18 · 199 阅读 · 0 评论 -
热门商品和读取本地文件由kafka发送数据
//定义输出数据的样例类case class UserBehavior(userId:Long,itemId:Long,categoryId:Int,behavior:String,timestamp:Long)//定义窗口聚合结果样例类case class ItemViewCount(itemId:Long,windowEnd:Long,count:Long)object word1 {...原创 2020-04-13 21:37:02 · 210 阅读 · 0 评论 -
关于TableEvent进行注册表查询
def main(args: Array[String]): Unit = {//创建批处理val env = ExecutionEnvironment.getExecutionEnvironment//设置并行毒env.setParallelism(1)//创建table的上下文环境对象val tableenv = TableEnvironment.getTableEnvironme...原创 2020-04-13 21:34:26 · 403 阅读 · 0 评论 -
使用Flume采集流式数据发送到Kafka,再由Flink消费Kafka数据,实现电话号码统计本地文件读取
def main(args: Array[String]): Unit = {val env = ExecutionEnvironment.getExecutionEnvironmentenv.setParallelism(1)val log: DataSet[String] = env.readTextFile("D:\\Mywork\\workspace\\IdeaProjects\\...原创 2020-04-13 21:06:02 · 282 阅读 · 0 评论 -
使用Flume采集流式数据发送到Kafka,再由Flink消费Kafka数据,实现电话号码统计
def main(args: Array[String]): Unit = {val env = StreamExecutionEnvironment.getExecutionEnvironmentenv.setParallelism(1)val properties = new Properties()properties.setProperty("bootstrap.servers"...原创 2020-04-13 21:04:56 · 232 阅读 · 0 评论 -
使用Flume采集流式数据发送到Kafka,再由Flink消费Kafka数据,实现车牌号码统计端口
def main(args: Array[String]): Unit = {//创建flink执行环境val env = StreamExecutionEnvironment.getExecutionEnvironment//设置并行度env.setParallelism(1)//从kafka获取数据val properties = new Properties()properti...原创 2020-04-13 20:57:46 · 569 阅读 · 0 评论 -
使用Flink Maven项目进行词频统计
批处理def main(args: Array[String]): Unit = {//创建执行环境val env = ExecutionEnvironment.getExecutionEnvironment//从文件中读取数据val unit = env.readTextFile("C:\\Intel\\day046\\input\\word.txt")//进行数据处理val ww...原创 2020-04-13 20:52:45 · 242 阅读 · 0 评论 -
kafka与flume启动命令
kafka的启动命令bin/kafka-server-start.sh -daemon config/server.propertieskafka的关闭命令bin/kafka-server-stop.shkafka生产者命令kafka-console-producer.sh --broker-list node1:9092 --topic my-kafka-topic //my-k...原创 2020-04-13 20:43:27 · 254 阅读 · 0 评论 -
在Hive中创建表同时关联HBase
CREATE TABLE hbase_staff_A(id int,name string,job string,mgr int,hiredate string,sal double,comm double,deptno int)STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’WITH SERDEPROPE...原创 2020-04-13 20:30:19 · 222 阅读 · 0 评论