dongfengpo25的博客

原创 hbase

1.定义与结构同类型的列分为列族，存在不同的文件中，且可以动态增加。Row key：行键，有序，按位比较的，只要唯一就行了，如果不唯一就是覆盖。Region是横向切片，按照数据量划分到不同的文件夹。宽表：列多高表：行多store：真正存在hdfs里边列名等元数据信息存在内存中2.物理存储上面中t4是修改覆盖了t3的数据，取数据返回时取时间戳最大的t4TimeStamp字段...

原创 flink-CEP

原创 flink-状态一致性

相当于Haspmap.push(key,value) key和value一样，怎么写入都不变flink超时默认是1小时，kafka默认15分钟，所以一致性的时候超时时间必须要处理一致。否则会造成数据丢失。...

原创 flink-容错机制

env.enableCheckpointing(60000) env.getCheckpointConfig.setCheckpointingMode(CheckpointingMode.AT_LEAST_ONCE) env.getCheckpointConfig.setCheckpointTimeout(100000) env.getCh...

原创 flink-SlideOutputStream侧输出流

大部分的 DataStream API 的算子的输出是单一输出，也就是某种数据类型的流。除了 split 算子，可以将一条流分成多条流，这些流的数据类型也都相同。processfunction 的 side outputs 功能可以产生多条流，并且这些流的数据类型可以不一样。一个 side output 可以定义为 OutputTag[X]对象，X 是输出流的数据类型。process funct...

原创 flink-ProcessFunction API 底层API

package com.dong.flink.funcimport org.apache.flink.api.scala._import org.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimport com.dong.flink.SensorReadingimport org.apache.flink.s...

原创 flink

简介是一个框架和分布式处理处理引擎，用于对无界和有界数据流进行状态计算。低延迟，高吞吐，结果正确性和良好的容错性。应用场景：流处理演变：离线大数据事务图如下：有状态的流式处理：如sum统计，数据仍然是流进来，流出去，但可以保存一个求和的本地状态，存储在内存里，再写入到远程的存储空间里，落盘，为flink的检查点概念。但在分布式，高并发情况下一致性不好，可能网络延...

原创 docker-rabbitmq

启动并创建admin-9999帐户docker run -d --name rabbitmq -e RABBITMQ_DEFAULT_USER=admin -e RABBITMQ_DEFAULT_PASS=9999 -p 15672:15672 -p 5672:5672 rabbitmq:management

原创 kafka详细笔记

一、概念kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。两种模式：1.点对点：一对一，消费者主动拉取数据，消息收到后清除。2.发布/订阅模式：一对多，消费者消费数据之后不会马上清除，可设置期限。kafka是该模式下的基于消费者主动拉取消费的机制，比较浪费资源，一直轮询。二、...

原创 maven打包

运行的jar包提示找不到引用类：先把引用的包按顺序全部maven install，再maven install自己

原创 kafka

1.下载地址：http://archive.apache.org/dist/ (ctrl+f搜索kafka)2.上传jar包到linux服务器并解压：tar -zxvf kafka_2.11-0.11.0.2.tgz3.重命名并进入该目录，在该目录下创建logs文件夹：mv kafka_2.11-0.11.0.2 kafkacd kafkamkdir logs4.配置集群cd /op...

原创 nginx+php部署问题

1.页面上报错为：No input file specified.error.log中报错为：FastCGI sent in stderr: "PHP message: PHP Warning: Unknown: open_basedir restriction in effect. File(/www/wwwroot/**/index.php) is not within the all...

原创 docker nginx

安装最新版docker pull nginxdocker images主机服务器创建目录，新建nginx.conf配置，如：/user/local/nginx/nginx.conf使用-v挂载主机的nginx.conf，修改比较方便：docker run --name nginx -p 80:80 -d nginx -v /user/local/nginx/nginx.conf:/e...

原创 docker tomcat

docker pull tomcat:8.5docker run --name tomcat8081 -p 8081:8081 -d tomcat:8.5这里后面那个8081先提前预设好，等下后面修改server.xml对应它为什么呢？docker psdocker exec -it 8f007119a20a /bin/bash好了，端口被占用，端口要修改吧。等它下...

原创 docker学集

Docker 是一个开源的应用容器引擎Docker支持将软件编译成一个镜像；然后在镜像中各种软件做好配置，将镜像发布出去，其他使用者可以直接使用这个镜像。运行中的这个镜像称为容器，容器启动是非常快速的。类似windows里面的ghost操作系统，安装好后什么都有了。docker主机(Host)：安装了Docker程序的机器（Docker直接安装在操作系统之上）；docker客户端(Clien...

原创 nginx

正向代理反向代理负载均衡动静分离

原创 linux命令学集

df列出文件系统的整体磁盘空间使用情况。可以用来查看磁盘已被使用多少空间和还剩余多少空间。-a：–all，显示所有的文件系统，包括虚拟文件系统dhdu -sh * | sort -rh查看目录下所有文件的大小并按照大小排序-s, --summarize 只分别计算命令列中每个参数所占的总用量-h 选项以KB、MB、GB的单位来显示，可读性高~~~（最常用）...

原创 spring事务笔记

一、先看栗子：@Transactional(propagation = Propagation.REQUIRES_NEW, rollbackFor = { RuntimeException.class, Error.class, Exception.class }) @Override public void test1() throws Exception { for (long...

原创 微服务踩坑记录

环境：jkd:1.8springcloud: Greenwich.SR1springboot: 2.1.2.RELEASE一、棘手的时间设置hystrixTimeout 、 ribbonTimeout、socket-timeout-millis1、在 DefaultClientConfigImpl.classpublic static final int DEFAULT_MAX_AUT...

原创 7.网站权重

权重的概念权重指的是搜索引擎对网站的评分权重的来源1).自身初始权重：百度计算这个网站的内容怎么样，和目前互联网上的内容重合度怎么样，如果跟其他网站有不同样，那么就有一定的加分值，采集别人的数据，重合度高，初始权重值就很低了。如果网站的内容是网民很需要，百度可能会给一个比较大的初始值，以及高的排名。但是如果后面发现作用不是特别大的话，它会收回来一些初始权重值。所以有时候刚上线的网站...

原创 6.关键词布局、密度控制

关键词逐级分配关键词进行难度分析排序后，开始考虑关键词分配首页关键词栏目关键词内容页关键词关键词布局点1).URL中出现关键词，更能让用户容易记住，容易排名靠前2).标题标签出现关键词，让搜索引擎知道你这网站是干什么的，占最大的权重比例3).基于目前keywords标签在搜索引擎中所获得的权重来看，keywords标签中可以出现关键词，但是最好只出现1-3个，目前keywords...

原创 5.网站TDK标签优化

切忌堆砌关键词遵循主关键词优先的原则第一出现的关键词的权重最大标题设计明了简洁保持所有网页title的唯一性为什么要做到title的唯一性？1.让搜索引擎认为是不一样的页面2.精确地描述页面的内容，提高用户体验3.从网站建设角度出发，编辑修改网站更轻松、更多元化、内容更丰富充实description标签优化技巧：1).涵盖相关关键词，是title不足的补充。2).与tit...

原创 AbstractQueueRunnable

package org.tio.utils.thread.pool;import java.util.concurrent.ConcurrentLinkedQueue;import java.util.concurrent.Executor;import org.slf4j.Logger;import org.slf4j.LoggerFactory;/** * * @autho...

原创 监控慢攻击

/** * 平均每次TCP接收到的字节数，这个可以用来监控慢攻击，配置PacketsPerTcpReceive定位慢攻击 */ public double getBytesPerTcpReceive() { if (receivedTcps.get() == 0) { return 0; } double ret = (double) receivedBytes.get...

原创 volatile

private static class TimerTask implements Runnable { @Override public void run() { currTime = System.currentTimeMillis(); if (list != null) { for (TimerListener timerListener : list) { ...

原创 GroupContext

package org.tio.core;import java.nio.ByteOrder;import java.util.HashMap;import java.util.HashSet;import java.util.concurrent.ThreadPoolExecutor;import java.util.concurrent.atomic.AtomicInteger;...

原创 ObjWithLock--ReentrantReadWriteLock

package org.tio.utils.lock;import java.io.Serializable;import java.util.concurrent.locks.ReentrantReadWriteLock;import java.util.concurrent.locks.ReentrantReadWriteLock.ReadLock;import java.util....

原创 使用layui框架的杰作(91uu.net)

话不多说，上图：首页地址：https://dazi.91uu.net/感觉都挺好，欢迎来吐槽 ~~~

解决java上传中文文件名乱码

commons-httpclient-3.0.1.jar类:org.apache.commons.httpclient.methods.multipart.FilePart 获取文件名方法:protected void sendDispositionHeader(OutputStream out) throws IOException { LOG.tr...

java控制台显示加载类

在VM arguments中加入以下参数即可： -XX:+TraceClassLoading

原创 SWT中的拖放支持 － 拖放原理概述

SWT中有关拖放操作的类都在org.eclipse.swt.dnd包中。该包中主要的接口和类如下所示：类名 功 能 描 述Clipboard 剪贴板类，可以实现对剪贴板的操作DND 类似于SWT...