- 博客(36)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 flink日志解析
flink 代码解析日志public class HotPages { public static void main(String[] args) throws Exception { /** * 思路：开窗统计聚合 得到结果 排序输出 */ StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
2024-03-13 19:19:32
179
原创 【windows启动xxx.cmd 报错】
window10 终端启动XXX.cmd程序报错：java.net.bindexception: address already in use: jvm_bind解决方法1.占用端口的进程号（PID） netstat -ano| findstr 8080C:\Users\KIM>netstat -ano| findstr 8080 TCP 0.0.0.0:8080 0.0.0.0:0 LISTENING 16868 TCP
2022-05-16 11:38:32
218
原创 MySQL报错记录
1.MySQL启动错误（之前正常使用，重启后报错）、错误为：Starting MySQL… ERROR! The server quit without updating PID file[root@KIM ~]# service mysqld statusERROR! MySQL is not running, but lock file (/var/lock/subsys/mysql) exists[root@KIM ~]# service mysqld startStarting MySQL
2022-05-12 11:11:02
417
2
原创 Spring
Spring整理记录常用依赖启用注解 <context:annotation-config/><?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.sp
2021-08-12 15:16:20
97
原创 idea 简单设置
idea 随笔记录idea简易配置位置configure > setting１.配置一configure > setting > Java compiler2.配置二configure > setting > file Encodings3.配置三configure > setting >Maven
2021-08-05 16:10:45
97
原创 idea报错
idea 报错 Cannot resolve symbol ‘XXX’idea无法识别同一个package 下的其他类 Cannot resolve symbol 'ReceiptEvent'关闭重开也没有用解决方法清空 cache 并且重启解决，仅作记录
2021-07-02 22:12:57
134
1
原创 Xshell6安装问题，缺少dll文件
Xshell6安装问题，缺少dll文件缺少 mfc110.dll 和 msvcp110.dll两个文件，导致无法启动可下载 vcredist_x64.exe 和 vcredist_x86.exe，直接安装即可，已上传免费资源，可自行下载也可再官网下载：http://www.microsoft.com/zh-CN/download/details.aspx?id=30679...
2021-06-25 15:55:00
1342
原创 Nginx
Nginx 安装Nginx下载地址：https://nginx.org/en/download.html一、安装前1.安装编译工具 以及依赖文件(编译依赖gcc环境；;yum install gcc-c++zlib库提供多种压缩解压缩方式 Nginx使用zlib对http包内容进行gzip；yum install zlib zlib-devel;openSSL是一个安全套接字密码库，囊括很多密码算法、常用的密钥、证书封装管理功能以及SSL协议，nginx支持http也支持https；)
2021-06-22 16:29:37
107
原创 flink-cep
flink-CEP模式package com.ct.loginfail_detect;import com.ct.loginfail_detect.beans.LoginEvent;import com.ct.loginfail_detect.beans.LoginFailWarning;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.cep.CEP;import org.apac
2021-06-21 15:41:05
94
原创 flink--waterMark
flink–waterMark1.Flink的时间语义2.设置Event Time没有设置的的话 默认是 processing time3.水位线（WaterMark）4.waterMark的传递、引入和设定
2021-05-30 17:48:52
73
1
原创 flink--自定义sink
自定义sinkpublic class SinkToJDBC { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env =StreamExecutionEnvironment.getExecutionEnvironment(); DataStreamSource<String> inputStream =
2021-05-28 15:08:25
405
原创 flink之sink
flink —sink来自 https://ashiamd.github.io/docsify-notes/#/study/BigData/Flink1.to kafkapublic static void main(String[] args) throws Exception{ // 创建环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment()
2021-05-28 11:13:07
208
原创 flink之richFunction
richFunction记录自定义富函数-recordingpublic class TransformRichFunction { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataSt
2021-05-27 18:00:58
227
原创 flink算子(2)
flink 算子 keyBy min max minBy maxBy reduce spilt selectkeyByDatastream -->KeyedStream：逻辑的将一个流拆分成不相交的分区，每个分区包含具有相同key的元素，在内部以hash的形式实现的1、KeyBy会重新分区； 2、不同的key有可能分到一起，因为是通过hash原理实现的；！！但并不是同一个分区就只有一个相同的Key滚动聚合算子sum min max minBy maxBy，针对KeyedStrxea
2021-05-27 11:58:46
235
原创 flink算子（1）
flink 算子（1）map flatMap filterpublic class CalculationAPI { public static void main(String[] args) throws Exception{ StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStream<S
2021-05-26 10:45:43
71
原创 flink
flink流计算代码有待完善public class CountStream { public static void main(String[] args) { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); //设置并行度,可以根据自己的CPU核数 env.setParallelism(8);// St
2021-05-24 10:38:23
71
原创 shell知识归纳
shell知识归纳1.什么是shellshell是一个命令解释器，它可以接收应用程序/用户命令，然后调用操作系统内核。如图在这里插入图片描述2.shell优点编写容易调试简单灵活性强3.shell解析器/bin/sh/bin/bash/sbin/nologin/bin/dash/bin/tcsh/bin/cshbash和sh的关系 sh -> bash 软连接Centos默认的解析器是：bash4.Hello实战第一步#!/
2021-05-24 10:23:22
58
原创 flink
flink之wordConutpublic class Count { public static void main(String[] args) { //create environment ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(4); //add t
2021-05-24 10:18:59
177
原创 # Java基础知识梳理（一）
Java基础知识梳理（一）Write Once and run everywhere一、Java三大版本1.JavaSE：标准版，桌面程M序，控制台等开发2.JavaME：嵌入式开发（手机，小家电等）3.JavaEE：企业级开发，web端、服务器开发等二、JDK、JRE、JVM三、基础知识3.1 注释，标识符，关键字3.1.1 注释单行注释 //多行注释 /* */文档注释 /** */3.1.2 标识符Java所有的组成部分需要名字，类名、变量名以及方法名都成为
2021-04-25 11:20:22
48
原创 hive问题
hive启动报错问题描述：hive启动程序报错错误Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "HikariCP" plugin to create a ConnectionPool gave an error : Failed to initialize pool: null, message from server: "Host '192.168.1.111' is blocked be
2021-03-30 11:23:56
1798
原创 hive
hive安装笔记Hive 安装及配置1 上传2 解压3 改名4 hive-env.sh5 元数据配置到 MySql5.1驱动拷贝5.2配置 Metastore 到 MySql4.1.5 启动Hadoop 集群4.1.6 Hive 基本操作Hive 安装及配置1 上传把 apache-hive-3.1.2-bin.tar.gz 上传到 linux 的/opt/software 目录下2 解压解压 apache-hive-3.1.2-bin.tar.gz 到/opt/module/目录下面[user
2021-03-15 10:11:43
83
原创 centos7+虚拟机安装记录
虚拟机安装记录1) 先安装virtual machine2) 再安装Linux (CentOS )3) 原理示意图二、CentOS安装的步骤2.1 创建虚拟机2.2 选择程序光盘映像文件2.3 处理器数量按照电脑处理器实际数量进行配置2.4选择网络类型 NAT2.5虚拟机设置如下2.6电脑wlan设置2.7Linux系统下打开终端创建虚拟机，然后在虚拟机上安装一个Centos系统1) 先安装virtual machine2) 再安装Linux (CentOS )3) 原理示意图二、CentOS
2021-03-15 09:50:24
96
原创 azkaban 3.51.0 安装笔记（三）--------双服模式（two Server）
azkaban 3.51.0 安装笔记（三）--------双服模式（two Server）环境 centos7 Hadoop+hive+JDK1.81.准备数据库登录MySQL(1) create database azkaban;(2) create user 'azkaban'@'%' identified by 'azkaban';(3) grant all privileges on azkaban.* to 'azkaban'@'%' identified by 'azkaban'
2021-01-22 10:21:51
202
原创 azkaban 3.51.0 安装笔记（二）--------单服模式（solo）
azkaban 3.51.0 安装笔记（二）--------单服模式（solo）环境 centos7 Hadoop+hive+JDK1.8SOLO Server 使用的是单节点模式，只需要一个压缩包即可 ：azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz1.解压至目标文件夹2.切换至azkaban的conf目录下,修改文件azkaban.properties，更改时区为亚洲/上海3.关闭内存检查，azkaban对内存有要求，未符合要求就不能运行，关闭检查内存
2021-01-20 14:23:57
133
原创 azkaban 3.51.0 安装笔记（一）--------编译
azkaban 3.51.0 安装笔记（一）--------编译环境 centos7 Hadoop+hive+JDK1.8Azkaban组件：(1) Exec Server 是负责任务的执行(2)Web Server 负责人物的页面显示和其他的调度(3)数据库三种安装模式：单服务模式：Exec Server和Web Server放在在同一个进程中，用一个程序就可以执行，默认H2数据库Two Server模式：Exec Server和Web Server放在在不同进程中，数据库使用Mysql
2021-01-20 10:55:30
237
原创 hadoop显示只有一个datanode节点启动
问题描述：Hadoop集群启动正常，所有节点正常启动，WebUI 界面正常展示，但是Web界面上只显示一个datanode节点在LIve Nodes查看配置文件全部没问题，集群三台主机节点正常，数据节点只显示一台，说明集群将三个数据节点识别为一个，那么datanode节点VERSION是一致的集群设置的临时数据位置在 /opt/module/hadoop-3.1.4/data/tmp/dfs/data/current/ 发现storageID和datanodeUuid是一致的，所以修改stora
2020-12-30 10:44:46
2706
3
原创 MapReduce编程规范
Mapreduce开发八步走Map阶段Shuffle阶段Reduce阶段Map阶段1.设置InputFormat类（抽象类–>使用子类）–>决定原文件的读取方式，将数据切分为K-V对2.自定义Map逻辑（extends Mapper类），按逻辑将第一步结果转换成新的K-V对Shuffle阶段3.对输出的K-V对进行分区4.对不同的分区数据按照相同的Key排序5.对分组过的数据初步聚合（减少网络传输数据量）6.对数据进行分组，相同的Key的Value放入到一个集合中Reduce阶
2020-12-21 16:18:03
110
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人