- 博客(26)
- 资源 (4)
- 问答 (4)
- 收藏
- 关注
RSS订阅原创 Go语言环境变量安装
1.SDK下载安装Go语言SDK安装包地址；https://golang.google.cn/dl/2.安装下载后点击 一路next便可3.配置环境变量在系统变量下面新建 GOROOT 以及 GOROOT备注：GOPATH为创建项目的目录 GOROOT为SDK的目录在用户变量下 点击Path 新增%GOROOT%\bin4.安装完毕进行测试用win键+R，来打开命令行提示符窗口，即DOS界面，输入go version 出现如下图即可...
2021-01-08 23:10:41
176
原创 Storm启动命令
在启动storm之前要确保nimbus和supervisor上的Zookeeper已经启动（1）查看zk的状态：./zkServer.sh status12（2）如果zk没有开启，将nimbus和supervisor的zk开启./zkServer.sh start1（3）启动nimbus（切换到storm的bin目录下）./storm nimbus &1（4）启动supervisor（切换到storm的bin目录下）./storm supervisor &1（5
2020-10-13 16:22:15
2048
原创 git pull 出现冲突
出现以下错误：error: The following untracked working tree files would be overwritten by merge:doc/钃濋哺/lgame/datamore.shPlease move or remove them before you merge.AbortingUpdating 70a0b7c…aa0a44f意思是说更新下来的内容和本地修改的内容有冲突直接一条命令 git clean -d -fx 搞定...
2020-08-11 11:28:12
338
原创 git脚本命令
git命令脚本》》》git推送git clone “地址” 下载到本地git init // 初始化版本库git add . // 添加文件到版本库（只是添加到缓存区），.代表添加文件夹下所有文件git commit -m “first commit” // 把添加的文件提交到版本库，并填写提交备注git remote add origin 你的远程库地址 // 把本地库与远程库关联git push -u origin master // 第一次推送时git push or
2020-07-24 09:57:41
355
原创 idea生产数据模块
import java.io.{FileOutputStream, OutputStreamWriter}import java.text.{DecimalFormat, SimpleDateFormat}import java.util.Dateimport scala.collection.mutableimport scala.collection.mutable.ListBufferimport scala.util.control.Breaksobject ProductLog {p
2020-05-12 12:40:13
179
原创 ideaAPI对hbase进行操作
package com.bawei;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.;import org.apache.hadoop.hbase.client.;import org.apache.hadoop.hbase.util.Bytes;import java.io.IOException;public class Count {//创建连接private static Conne
2020-05-12 12:39:21
760
原创 大数据文档需求面试题
索引问题答案配图备注A1azkaban使用流程?类似工具(oozie乌贼)创建之前我们先了解下之间的关系，一个工程包含一个或多个flows，一个flow包含多个job。job是你想在azkaban中运行的一个进程，可以是简单的linux命令，可是java程序，也可以是复杂的shell脚本，当然，如果你安装相关插件，也可以运行插件。一个job可以依赖于另一个job，这种多个job和它们的依赖组成的图表叫做flow1.Command 类型单一 job 示例A.首先创建一个工程(proje
2020-05-12 00:30:05
7607
原创 综合分析平台
package com.sdg.consumer.myhbaseimport java.text.SimpleDateFormatimport java.utilimport com.sdg.consumer.myutils.{ConnectionInstance, HBaseUtil, PropertiesUtil}import org.apache.hadoop.conf.Configurationimport org.apache.hadoop.hbase.{HBaseConfigurati
2020-05-12 00:25:18
260
原创 list集合数据 基于CEP 进行恶意登录监控
import java.utilimport org.apache.flink.cep.PatternSelectFunctionimport org.apache.flink.cep.scala.CEPimport org.apache.flink.cep.scala.pattern.Patternimport org.apache.flink.streaming.api.TimeCha...
2020-04-14 00:51:55
380
原创 idea中连接mysql获取数据
package com.baweiimport org.apache.flink.api.common.typeinfo.BasicTypeInfoimport org.apache.flink.api.java.io.jdbc.JDBCInputFormatimport org.apache.flink.api.java.typeutils.RowTypeInfoimport org.a...
2020-04-14 00:00:26
824
原创 读取本地文件进行Hbaes表数据上传
package com.baweiimport org.apache.flink.configuration.Configurationimport org.apache.flink.streaming.api.functions.sink.{RichSinkFunction, SinkFunction}import org.apache.flink.streaming.api.scala....
2020-04-13 22:06:39
156
原创 进行恶意登录监控二方法
package com.baweiimport org.apache.flink.configuration.Configurationimport org.apache.flink.streaming.api.functions.sink.{RichSinkFunction, SinkFunction}import org.apache.flink.streaming.api.scala....
2020-04-13 21:56:39
325
原创 基于端口和Flink CEP进行恶意登录监控
package commmmimport java.utilimport org.apache.flink.cep.PatternSelectFunctionimport org.apache.flink.cep.scala.CEPimport org.apache.flink.cep.scala.pattern.Patternimport org.apache.flink.stream...
2020-04-13 21:46:52
524
原创 基于本地进行恶意登录监控
package commmimport org.apache.flink.api.common.state.{ListState, ListStateDescriptor}import org.apache.flink.streaming.api.TimeCharacteristicimport org.apache.flink.streaming.api.functions.KeyedPr...
2020-04-13 21:41:22
267
原创 计算商品流量数据
//输出数据的样例类case class LogEvent(ip:String,userId:String,eventTime:Long,method:String,url:String)//定义窗口聚合结果样例类case class UrlViewCount(url:String,windowEnd:Long,count:Long)object word2 {def main(arg...
2020-04-13 21:39:18
211
原创 热门商品和读取本地文件由kafka发送数据
//定义输出数据的样例类case class UserBehavior(userId:Long,itemId:Long,categoryId:Int,behavior:String,timestamp:Long)//定义窗口聚合结果样例类case class ItemViewCount(itemId:Long,windowEnd:Long,count:Long)object word1 {...
2020-04-13 21:37:02
226
原创 关于TableEvent进行注册表查询
def main(args: Array[String]): Unit = {//创建批处理val env = ExecutionEnvironment.getExecutionEnvironment//设置并行毒env.setParallelism(1)//创建table的上下文环境对象val tableenv = TableEnvironment.getTableEnvironme...
2020-04-13 21:34:26
426
原创 Flink 连接Hbase进行建表正删改查操作
//创建连接private static Connection connection=null;static {try {//创建配置文件Configuration conf = HBaseConfiguration.create();//设置zookeeper参数和主机名称conf.set(“hbase.zookeeper.quorum”,“hdp111,hdp222,hdp333...
2020-04-13 21:29:34
1232
原创 使用Flume采集流式数据发送到Kafka，再由Flink消费Kafka数据，实现电话号码统计本地文件读取
def main(args: Array[String]): Unit = {val env = ExecutionEnvironment.getExecutionEnvironmentenv.setParallelism(1)val log: DataSet[String] = env.readTextFile("D:\\Mywork\\workspace\\IdeaProjects\\...
2020-04-13 21:06:02
309
原创 使用Flume采集流式数据发送到Kafka，再由Flink消费Kafka数据，实现电话号码统计
def main(args: Array[String]): Unit = {val env = StreamExecutionEnvironment.getExecutionEnvironmentenv.setParallelism(1)val properties = new Properties()properties.setProperty("bootstrap.servers"...
2020-04-13 21:04:56
252
原创 使用Flume采集流式数据发送到Kafka，再由Flink消费Kafka数据，实现车牌号码统计端口
def main(args: Array[String]): Unit = {//创建flink执行环境val env = StreamExecutionEnvironment.getExecutionEnvironment//设置并行度env.setParallelism(1)//从kafka获取数据val properties = new Properties()properti...
2020-04-13 20:57:46
591
原创 使用Flink Maven项目进行词频统计
批处理def main(args: Array[String]): Unit = {//创建执行环境val env = ExecutionEnvironment.getExecutionEnvironment//从文件中读取数据val unit = env.readTextFile("C:\\Intel\\day046\\input\\word.txt")//进行数据处理val ww...
2020-04-13 20:52:45
272
原创 kafka与flume启动命令
kafka的启动命令bin/kafka-server-start.sh -daemon config/server.propertieskafka的关闭命令bin/kafka-server-stop.shkafka生产者命令kafka-console-producer.sh --broker-list node1:9092 --topic my-kafka-topic //my-k...
2020-04-13 20:43:27
272
原创 在Hive中创建表同时关联HBase
CREATE TABLE hbase_staff_A(id int,name string,job string,mgr int,hiredate string,sal double,comm double,deptno int)STORED BY ‘org.apache.hadoop.hive.hbase.HBaseStorageHandler’WITH SERDEPROPE...
2020-04-13 20:30:19
243
wangqi-redis-test.zip
2019-12-09
Datagrip连接hive数据库失败。
2024-09-21
python问题 求解答
2024-04-29
python连接手机问题
2023-07-26
ADB命令如何界面跳转
2023-07-01
怎么将电脑 打两个月前为开始到现在的所有操作进行初始化 清除一切下载安装 等一切痕迹
2021-03-19
Storm jar包提交参数问题
2021-02-01
私服maven仓库下载jar包
2021-01-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人