mn_kw的博客

原创 一文弄懂Flink网络流控及反压

网络流控是为了在上下游速度不匹配的情况下，防止下游出现过载Flink 1.5 之前是基于 TCP 流控 + bounded buffer 实现反压Flink 1.5 之后实现了自己托管的 credit – based 流控机制，在应用层模拟 TCP 的流控机制。

原创 flink面试常见题带答案(持续更新)

Apache Flink 是一个开源的基于流的有状态计算架。它是分布式地执行的，具备低延迟、高吞吐的优秀性能，并且非常擅长处理有状态的复杂计算逻辑场景。全局快照首先是一个分布式应用，它有多个进程分布在多个服务器上:其次，它在应用内部有自己的处理逻辑和状态:第三，应用间是可以互相通信的:第四，在这种分布式的应用，有内部状态，硬件可以通信的情况下，某一时刻的全局状态，就叫做全局的快照。

原创 一文搞清yarn三种调度器

3、灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。3、灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。DRF：Yarn默认只考虑内存资源，该策略对不同应用不同资源(CPU和内存)进行一个不同比例的限制，因为每个应用程序需求量不一样。容量调度器优先选择资源使用率最低的队列，而公平调度器优先选择资源缺额比较大的队列。

原创 一文弄懂Hbase

优点是很多的，容量巨大，可以千亿行，上万列；扩展性很强，可以按需扩容，都是线性伸缩的；结构化，列簇式存储，允许稀疏数据存储，还不浪费空间；擅长 OLTP 场景，高并发、高性能的数据读写，小范围的查询也是可以的；支持值的多版本，这个其实可以保存时序数据hbase 的缺点也是很多的，不支持 OLAP 分析场景，分析用 hbase 就不太靠谱了，天生不是用于分析的，他就是海量数据列簇式存储，结构化，列可扩展，高性能读写；

原创 一文弄懂 ZooKeeper

1. 集群模式部署一般奇数节点，因为你5台机器可以挂2台，6台机器也是挂2台，不能超过一半的机器挂掉，所以5台和6台效果一致，那奇数节点可以减少机器开销，小集群部署，读多写少2. 主从架构： Leader 、 Follower 、 Observer （一般刚开始没必要用）3. 内存数据模型：Znode，多种节点类型4. 客户端跟 ZooKeeper 进行长连接，TCP，心跳，维持 Session5. Zxid ，高32位，低32位。

原创 JDK并发编程Actomic和AQS详解

JDK并发编程Actomic和AQS详解。

原创 JDK 并发编程＜volatile＞关键字

java并发编程关键字

原创 JDK线程并发总结

JDK线程并发总结

原创 JDK集合源码剖析

JDK集合源码剖析

原创 HIVE工作中使用技巧

hive在工作中的使用技巧

原创 hive 数据倾斜问题排查及 hive 优化

hive数据倾斜排查及hive优化

原创 《HiveSQL 常见的JOIN误区》

hive sql join误区

原创 将datax做成docker镜像

# 1. 拉取python环境镜像到本地docker pull centos/python-27-centos7# 2.上传jdk和datax到环境到本地环境中[datax_docker]# lsdatax.tar.gz Dockerfile jdk.tar.gz# 3. 编写相应的DockerfileFROM centos/python-27-centos7#安装jdkADD jdk.tar.gz /opt/localENV JAVA_HOME /opt/local/jd.

原创 Harbor搭建使用

1. 下载地址https://github.com/goharbor/harbor/releases2.创建https证书# 创建证书目录，并赋予权限mkdir -p /data/cert && chmod -R 777 /data/cert && cd /data/cert# 生成私钥，需要设置密码openssl genrsa -des3 -out harbor.key 2048# 生成CA证书，需要输入密码openssl req -...

原创 linux yum安装jenkins

1. 首先进入到jenkins官网# 首先进入jenkins官网点击download,以及选择centos# 1. 加载jenkins yum库sudo wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat/jenkins.reposudo rpm --import https://pkg.jenkins.io/redhat/jenkins.io.key# 2. 使用yum下载jenkinsy.

原创 docker安装jenkins

# 1. 首先使用docker从中央仓库拉取jenkins镜像docker pull jenkins# 2. 启动jenkins镜像docker run -p 8080:8080 -p 50000:50000 -d -v /home/jenkins-home-docker:/var/jenkins_home jenkins/jenkins:lts# 3. 如果有权限问题用以下方式处理docker@default:~$ docker run -ti --rm --entrypoint="/b.

原创 docker compose yaml编写规则

yaml规则docker-compose.yaml核心# 3层# 第一层# 版本version: '' # 第二层 # 服务service: 服务1：web服务 # 服务配置(docker容器配置) images build network ..... 服务2：redis服务# 第三层# 其他配置 网络/全局规则volumes:network:configs:# 在s

原创 Docker Compose详解

1. 简介DockerDockerFile build run 手动操作，单个容器微服务，100个微服务，依赖关系Docker Compose来轻松管理容器，定义运行多个容器官方简介定义运行多个容器，需要一个yuml配置文件使用Compose三步骤1. 使用Dockerfile保证我们的项目可以在任何地方可以运行2. 定义一个服务（应用）在docker-compose.yml，它可以运行在隔离的环境中3. 使用docker-compose up命令来启动dock

原创 docker使用以及自定义镜像

docker使用1. docker安装mysql镜像并使用# 首先去镜像仓库找到对应版本的mysql镜像地址 http://hub.daocloud.io# 就会进入到如下页面，输入我们想要的镜像名# 点击版本就会有我们mysql的所有版本信息# 点击拉取，就可以有具体的仓库镜像地址# 然后使用以下命令进行拉取对应版本mysqldocker pull daocloud.io/library/mysql:5.7.6 # 下载完毕，使用以下命令来查看是否下载成功docke...

原创 docker入门下载以及基础操作

目录1. docker基本操作1.1 下载安装docker1.2 docker中央仓库1.3镜像的操作1.4 容器的操作1. docker基本操作1.1 下载安装docker# 1. 下载关于Docker的依赖环境yum -y install yum-utils device-mapper-persistent-data lvm2# 2. 设置一下下载Docker的镜像源yum-config-manager --add-repo http://mirrors.a.

原创 protoBuf使用

下载protobuf下载地址：https://github.com/google/protobuf/releases选择protoc-xxx-win32.zip下载配置环境变量将解压出来的protoc.exe放在一全英文路径下，并把其路径名放在windows环境变量下的path下。用";" 半角分号隔开然后测试就可以用了接下来便是.proto文件转换为.j...

原创 java中list T 和 list 问号

List<T>可以进行诸如add、remove等操作，因为它的类型是固定的T类型，在编码期 不需要进行任何的转型操作。List<?>是只读类型的，不能进行增加、修改操作，因为编译器不知道List中容纳的是 什么类型的元素，也就无毕校验类型是否安全了，而且List<?>读取出的元素都是Object类 型的，需要主动转型，所以它经常用于泛型方法的返回值。注意，L...

原创 git 回退版本再次提交报错

使用git push -f 强制推上去

原创 git 合并导致idea workspace.xml报错，有合并

删除以下文件然后进行install就可以了

原创 git workspce.xml问题

在git提交的时候，有一些文件是不需要提交的，比如.idea文件夹下的东西，如果这个提交的话，会出现冲突问题，所以我们提交的时候应该忽略这个文件在仓库目录下新建一个名为.gitignore的文件（因为是点开头，没有文件名，没办法直接在windows目录下直接创建，必须通过右键Git Bash，按照linux的方式来新建.gitignore文件）然后在文件中加入.idea就会忽略这个文件...

原创 pd 多个概念模型中使用相同字段

点击Tools --->Model options -->

原创 idea中maven Dependencies报错

1. 首先排查是否是对应得包没有下载，查看是否有.lastUpdate结尾得文件，如果有重新下载2. 如果对应得包都下载成功，那么就把.xml文件中得依赖删除，进行一次更新，然后再拷入xml再进行更新...

原创 idea plugins红线报错

如果不是没有下载好对应得包 那么就把.lastUpdate，然后重新下载如果是下载好对应得包了，那么就进入到model setting中，全部删除然后更新就不会出现这种情况了...

原创 springboot下载依赖包

1.环境变量自己配置，2.配置阿里云镜像和本地仓库 <localRepository>D:\Apache\maven\repository</localRepository><mirror> <id>alimaven</id> <name>aliyun maven&l...

原创 idea 将tab键修改为4个空格，将换行符换成Unix格式

进入到idea中得控制面板Setting(Project Settings)->Code Style->General 在右侧的面板中，将tab改为4个空格Schema 那里选择Project,在下面把 Use tab character的勾选去掉...

原创 nohup和&的区别

&： 指在后台运行nohup： 不挂断的运行，注意并没有后台运行的功能，，就是指，用nohup运行命令可以使命令永久的执行下去，和用户终端没有关系，例如我们断开SSH连接都不会影响他的运行，注意了nohup没有后台运行的意思；&才是后台运行&是指在后台运行，但当用户推出(挂起)的时候，命令自动也跟着退出那么，我们可以巧妙的吧他们结合起来用就是nohu...

原创 yarn资源管理

在YARN的NodeManager节点上，会将机器的CPU和内存的一定值抽离出来，抽离成虚拟的值，然后这些虚拟的值在根据配置组成多个Container，当application提出申请时，就会分配相应的Container资源。关于默认值我们可以查看官网，如下表所示。参数 默认值 yarn.nodemanager.resource.memory-mb -1 yarn.node...

原创 oracle判断哪些client用了多少连接，资源

select machine,status,count(*) from v$session group by machine,status order by status;

原创 shell 切换用户

# For SELinux we need to use ‘runuser‘ not ‘su‘if [ -x "/sbin/runuser" ]; then SU="/sbin/runuser -s /bin/sh"else SU="/bin/su -s /bin/sh"fi如果想要切换用户并且执行一些组件的shell应该使用以下的命令/bi...

原创 kerbors

一、环境准备1.下载jce并解压至JAVA_HOME/jre/lib/security目录下，AMbari所有节点均需要http://www.oracle.com/technetwork/java/javase/downloads/jce8-download-2133166.htmlunzip -o -j -q jce_policy-8.zip -d $JAVA_HOME/jre/...

原创 sql case when 去重

count(distinct case trainnumber when 'null' then 0 when '0' then 0 else trainnumber end) as train_num

原创 Hadoop web页面的授权设定

在core-siet.xml配置文件中增加如下三行<property> <name>hadoop.http.filter.initializers</name> <value>org.apache.hadoop.security.AuthenticationFilterIniti...

原创 sqoop 导入 hive

sqoop 导入 Hive 分三步：1. 先导入--target-dir 指定的 HDFS 的目录中2. 在 Hive 中建表3. 调用 Hive 的 LOAD DATA INPATH 把 --target-dir中的数据移动到 Hive 中import--hive-import--hive-table dw_hd.ods_store--connect jdbc:oracle:th...

原创 azkaban安装

首先将我们的安装包下载下来，总共是4个，一个是web，一个是executor,一个是solo，一个是sql然后解压到我们的linux机器上安装第一步：首先配置mysql1. 为Azkaban创建一个数据库：mysql> CREATE DATABASE azkaban;2. 为Azkaban创建一个数据库用户:mysql> CREATE USER '<...

原创 join理解