XGkerwin1的博客

原创 设置开发模板

Linux常用命令

原创 Linux常用命令

Linux常用命令

原创 Maven的安装和使用

Maven的安装和使用、整合IDEA 配置仓库 常用命令等

转载 Hive 日期格式转换

hive 日期格式转换

原创 Hive常用语句

hive基本命令

原创 LinuX安装python教程

在Linux环境下安装Python

原创 DataX配置

datax配置文件

原创 Error running RollupBitmapDemo. Command line is too long. Shorten the command line via JAR manifest

Error running RollupBitmapDemo. Command line is too long. Shorten the command line via JAR manifest or via a classpath file and rerun.解决方案

原创 Flink面试题

文章目录1、spark streaming 和 flink 的区别2、Flink 的容错机制（checkpoint）3、Flink 中的 Time 有哪几种4、对于迟到数据是怎么处理的5、Flink 的运行必须依赖 Hadoop 组件吗6、Flink 资源管理中 Task Slot 的概念7、Flink 的重启策略了解吗8、 Flink 是如何保证 Exactly-once 语义的9、Flink 是如何处理反压的10、Flink 中的状态存储11、Flink 是如何支持批流一体的12、Flink 的内存管理

原创 数据流处理 java 和scala

数据流处理DataStreajava代码package com.example;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.configuration.Config

原创 Flink 数据分析批处理java代码和scala代码

数据流分析批处理

原创 Storm 介绍

介绍Storm的简介Storm是Twitter开源的分布式实时大数据处理框架，被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等，大数据实时处理解决方案（流计算）的应用日趋广泛，目前已是分布式技术领域最新爆发点，而Storm更是流计算技术中的佼佼者和主流。按照storm作者的说法，Storm对于实时计算的意义类似于Hadoop对于批处理的意义。Hadoop提供了map、reduce原语，使我

原创 Kafka面试题

什么是Kafka他就是一个消息中间件，可以把数据放到里面，用的时候从里面取数据为什么要使用消息队列缓冲数据削峰kafka主要起到一个缓冲的作用，可以把消息暂存在kafka中，让下游服务器可以按照自己的能力慢慢处理解耦扩展项目一开始，并不能确定具体需求，它可以作为一个接口层，解耦重要的业务流程冗余可以采用一对多的方式，一个生产者发布消息，可以被多个订阅topic的服务消费到别的业务使用。健壮性它可以堆积请求，所以消费端业务即使短时间死掉，也不会影响主要业务的正.

原创 安装Kafka

解压tar -zxvf kafka_2.12-0.11.0.3.tgz移动mv kafka_2.12-0.11.0.3 /opt/kerwin修改环境变量vim /etc/profileexport KAFKA_HOME=/opt/kerwin/kafka_2.12-0.11.0.3export PATH=$KAFKA_HOME/bin:$PATH刷新source /etc/profile安装完成

原创 Redis理论知识

简介Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如 字符串（strings），散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。 Redis 内置了复制（replication），LUA脚本（Lua scripting），LRU驱动事件（LRU eviction

原创 Redis理论知识

支持的数据类型string、hash、list、set、sortedsetRedis性能读的速度是110000次/s,写的速度是81000次/s缓存雪崩大量的key设置了相同的过期时间，导致在缓存在同一时间全部失效，引起数据库压力过大甚至down机。和缓存击穿不同的是，缓存击穿指并发查同一条数据，缓存雪崩是不同数据都过期了，很多数据都查不到从而查数据库。解决方案缓存数据的过期时间设置随机，防止同一时间大量数据过期现象发生。如果缓存数据库是分布式部署，将热点数据均匀分布在不同搞得缓存数

原创 缓存穿透、缓存击穿、缓存雪崩、缓存一致性的区别和解决方案

缓存雪崩大量的key设置了相同的过期时间，导致在缓存在同一时间全部失效，引起数据库压力过大甚至down机。和缓存击穿不同的是，缓存击穿指并发查同一条数据，缓存雪崩是不同数据都过期了，很多数据都查不到从而查数据库。解决方案缓存数据的过期时间设置随机，防止同一时间大量数据过期现象发生。如果缓存数据库是分布式部署，将热点数据均匀分布在不同搞得缓存数据库中。设置热点数据永远不过期。使用高可用的分布式缓存集群，确保缓存的高可用性缓存击穿对于一些设置了过期时间的key，如果这些key可能会在某

原创 Sqoop安装与使用

安装解压tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz删除压缩包rm -rf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz复制到指定目录mv sqoop-1.4.7.bin__hadoop-2.6.0 /opt/yjx/修改目录名mv sqoop-1.4.7.bin_hadoop-2.6.0 sqoop-1.4.7修改配置文件vim /etc/profileexport SQOOP_HOME=

原创 protobuf安装和使用

解压[root@node01 ~]# tar -zxvf phoenix-hbase-2.2-5.1.0-bin.tar.gz改名[root@node01 ~]# mv phoenix-hbase-2.2-5.1.0-bin phoenix-5.1.0复制到指定目录[root@node01 ~]# mv phoenix-5.1.0 /opt/yjx/进入[root@node01 ~]# cd /opt/yjx/phoenix-5.1.0/修改配置文件vim bin/hba

原创 HBase优化设计

1、表的设计1、Pre-Creating Regions​ 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。//第一种实现方式是使用admin对象的切分策略byte[] startKey = ...; // yo

原创 HBase基本操作

1、通用命令//展示regionserver的task列表hbase(main):000:0>processlist//展示集群的状态hbase(main):000:0>status//table命令的帮助手册hbase(main):000:0>table_help//显示hbase的版本hbase(main):000:0>version//展示当前hbase的用户hbase(main):000:0>whoami2、DDL操作//修改表的属性hbas

原创 Hbase环境搭建

首先安装hadoop参考https://blog.csdn.net/XGkerwin1/article/details/123822689?spm=1001.2014.3001.5501解压tar -zxvf hbase-2.2.5-bin.tar.gz复制到指定目录mv hbase-2.2.5 /opt/yjx/进入目录cd /opt/yjx/hbase-2.2.5/conf/修改集群环境vim hbase-env.shexport HBASE_LOG_DIR=${HB

原创 Hadoop集群搭建

node01解压tar -zxvf hadoop-3.1.2.tar.gz移动目录mv hadoop-3.1.2 /opt/yjx/打开目录cd hadoop-3.1.2/etc/hadoop/修改集群环境vim hadoop-env.shexport JAVA_HOME=/usr/java/jdk1.8.0_231-amd64export HDFS_NAMENODE_USER=rootexport HDFS_DATANODE_USER=rootexport HDFS

原创 Zookeeper环境搭建

解压tar -zxvf zookeeper-3.4.5.tar.gz解压成功后放到指定目录mv zookeeper-3.4.5 /opt/yjx/进入解压目录cd /opt/yjx/zookeeper-3.4.5/conf复制配置文件 改成zoo.cfg zoo_sample.cfg配置文件是不生效的cp zoo_sample.cfg zoo.cfg修改配置文件vim zoo.cfg# The number of ticks that the initial

原创 Nginx搭建集群

Nginx搭建集群建立三台Tomcat 修改3台tomcat配置文件vi /opt/bdp/apache-tomcat-8.5.47/webapps/ROOT/index.jsp<%@ page pageEncoding="UTF-8" contentType="text/html; charset=UTF-8" %><%java.text.SimpleDateFormat sdf = new java.text.SimpleDateFormat("yyyy");requ

原创 登录验证码

登录验证码添加依赖<dependency> <groupId>com.github.axet</groupId> <artifactId>kaptcha</artifactId> <version>0.0.9</version></dependency>生成验证码创建一个验证码配置类package com.example.config;import com.google.

原创 前后端分离Token验证流程

1.根据header获取tokenrequest.getHeader(“Authorization”)2.判断token 是否存在3.token不存在: 过滤器放行存在:根据token 获取用户名根据用户名查询用户记录 UserDetails4.校验token 是否合法JwtTokenUtil.validateToken(token,userDetails)不合法：过滤器放行5.判断SecurityContextHolder 是否存在Authentication不存在：添加Aut

原创 加解密JWT

import io.jsonwebtoken.Claims;import io.jsonwebtoken.JwtBuilder;import io.jsonwebtoken.Jwts;import io.jsonwebtoken.SignatureAlgorithm;import io.jsonwebtoken.impl.Base64Codec;import org.junit.jupiter.api.Test;import java.util.Date;public class TestJw

原创 Redis面试

1.Redis优势redis支持数据持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。redis支持多种数据类型 有包括String(字符串) hash(哈希) list(列表) set(集合) zset(有序集合)redis 支持数据备份redis 性能极高，读写速度11万次每秒，写入是8万多次每秒redis 是原子性的 意思就是要么成功执行，要么就是完全不执行，多操作的时候也支持事务redis 运行在内存中但是可以持久化到磁盘，所以在对不同数据集进行高速读写时需要权衡内

原创 安装redis

安装redis将redis上传到服务器解压tar zxvf redis-5.0.5.tar.gz因为redis是用C写的所以要安装c依赖yum -y install gcc-c++ autoconf automake进入解压目录执行cd redis-5.0.5make创建安装目录mkdir -p /usr/local/redis指定安装路径 否则会默认安装到/usr/local/bin目录下make PREFIX=/usr/local/redis/ inst

原创 Git基本命令 idea设置

Gitgit命令解释git --version查看版本信息git config --global user.name “xx”设置提交者姓名git config --global user.email “[email protected]”设置邮箱地址创建仓库并提交git命令解释git init仓库初始化git status查看文件状态git add git01.txt添加git01.txt 到暂存区git commit git01

原创 LayUI图片上传接口

前端样式<div class="layui-upload-drag" id="test1"> <i class="layui-icon">&#xe67c;</i> <p>点击上传，或将文件拖拽到此处</p></div>jsvar uploadInst = upload.render({ elem: '#test1', //绑定元素, url: '/newsList/upload',

原创 Freemarker的基本使用

首先使用Freemarker在pom文件中导入依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-freemarker</artifactId></dependency>配置Freemarkerfreemarker: suffix: .ftl # controller 返

原创 打工具jar包

原创 LinuX常用方法

基本命令文件命令命令解释mkdir（文件名）创建一个文件夹touch (文件名.java)创建文件mv (文件名) (指定目录)剪切vi (文件名)编辑文件insprtsc编辑内容:wq保存cat (文件名)查看内容cp (文件名) (文件名2)复制常用命令命令解释whereis查询命令文件的位置file产看文件类型who当前whoami当前目录pwd当前目录位

原创 LinuX安装Tomcat

解压tar -zxf apache-tomcat-9.0.50.tar.gz解压后修改名字mv apache-tomcat-9.0.50 tomcat9进入bin目录cd tomcat9cd bin/启动./startup.sh结束 bin目录下./shutdown.sh查看防火墙状态systemctl status firewalld.service禁用防火墙systemctl stop firewalld.service开启防火墙system

原创 Linux 安装Mysql

安装MySQL数据库更换yum源安装yum install wget -y将系统原始配置文件失效mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup使用阿里的配置源wget -O/etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo清空以前yum源的缓存yum clean a

原创 Linux 安装jdk11

安装包目录下 执行rpm -ivh jdk-11.0.12_linux-x64_bin.rpmrpm -qa | grep jdkrpm -q jdk默认安装路径/usr/javamv jdk-11.0.12/ jdk11 修改名字配置环境变量# 进入cd /etc# 复制一份防止修改错误cp profile profile.bak# 修改此文件vim profile# 最下面写入export JAVA_HOME=/usr/java/jdk11export PATH

原创 script 当前时间计时

计时器暂停开始

原创 linux中ifconfig不是内部命令

没有安装ifconfig等命令，运行ifconfig命令就会出错。解决方法：yum search ifconfigyum install net-tools.x86_64