qq_37466464的博客

原创 微服务拆分原则

1. 业务之间耦合降低 相互调用较少 进行拆分。2.修改频率区分不同服务。

原创 大数据算法

可微分。

原创 spring 源码

获取类class推断构造方法 @Autoware创建一个普通对象依赖注入 populateBean 把一些属性注入初始化之前 @PostConstruct 注解 初始注入 实际可以用构造方法啊初始化 initializationBean1.判断是否有aware接口 invokeAwareMethods2.执行 applyBeanPostProcessorsBeforeInitialization3. 初始化方法 invokeInitMethods。

原创 Flink sql

3.通过sql查询语句得到一张结果表result。2.注册表用于把数据载入输入。1.创建表的执行环境。//创建表的执行环境。//转化为table。

原创 Flink 容错机制

把当前的算子状态进行一个持久化的保存。手动存盘 用户自行备份等。

原创 flink cep

• 一个或多个由简单事件构成的事件流通过一定的规则匹配，然后输出用户想得到的数据 — 满足规则的复杂事件。• CEP 允许在无休止的事件流中检测事件模式，让我们有机会掌握数据中重要的部分。复杂事件处理（Complex Event Processing，CEP）• Flink CEP是在 Flink 中实现的复杂事件处理（CEP）库。

原创 Mysql 和redis非常规语法

使用insert ignore语法插入数据时，如果发生主键或者唯一键冲突，则忽略这条插入的数据。* 当事务处理完后，for update才会将行级锁解除*/select * for update 实现分布式锁。/**使用for update一定要加上这个事务。

原创 flink 状态编程

无状态和有状态 无状态是一个个独立的事情 比如说一个http请求 有状态是一定时间的记录 需要保存下来的数据 比如 你一定时间内访问的页面 数 流量数 等。

原创 Flink 多流转换

基于process。

原创 Kafka

或者后台configs.flush.msreplicassegment.msdefaultdefault.e.configsavailable修改副本因子。

原创 process处理函数

当需要处理更精细的处理时 比如 几点几分做什么 时间窗口等 就满足不了了。

原创 Flink时间和窗口

事件时间到达时间处理时间。

原创 Flink的DataStreamApi

..

原创 spring 原理解析

spring 要解决的问题1.spring 是如何创建一个bean对象的bean对象其实就是一个实例 无非通过一些当时来丰富这个对象的内容 典型的就是aop和依赖注入spring在通过构造方法创建一个实例对象后 就进入一个aop的阶段，这个阶段来实现属性 参数的依赖注入，比如你这个类里面有依赖别的 @Autowire 这中参数，就在aop的阶段给他配置进去setApplicationContext 上下文最后呢放到一个bean缓存池 可能就是一个map如果使用2.什么是单例池，作用是什么。

原创 netty

Netty 三层网络架构：Reactor 通信调度层单reactor单线程a、基于IO多路复用模型：多个连接共用一个阻塞对象。应用程序只需要在一个阻塞对象上等待，无需阻塞所有对象b、基于线程池复用线程资源：不再为每个连接创建线程，将连接完成后的业务处理任务分配给线程池处理职责链 PipeLine、业务逻辑处理层handlerReactor 通信调度层 可复用ioNetty 的线程调度模型序列化方式 ：使用proto 序列化链路有效性检.

原创 dubbo java api

java 查询dubbo zookeeper上的服务

原创 python &&JEP安装

安装python./configure --prefix=/opt/software/python --enable-shared CFLAGS=-fPICmake && make installyum install python3-devel看情况修改vi /etc/yum.repos.d/epel.repopip3 install jep -i http://pypi.douban.com/simple --trusted-host pypi.d...

原创 SCALA 语法

1.区分大小写2.类名第一个大写3.所有的方法名称的第一个字母用小写。4.程序文件名 与对象名称匹配（新版本不需要，建议一致）5.程序入口 def main(args:Array[String])标识符Scala 数据类型byteshoutintlongcharbooleanfloatdouble以及和java不同的String 字符序列Unit 表示无值，和其他语言中void等同。用作不返回任何结果的方法的结果类型。Un...

原创 jvm控制

1.GC问题控制台 jconsole配置远程连接java -Djava.rmi.server.hostname=ip -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=3214 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -jar xxx.jar打印内存状态第...

原创 创建mysql Failed to start mysql.service: Unit not found.

解压tar 创建用户组和用户groupadd mysqluseradd -r -g mysql mysql创建目录和权限mkdir -p /data/mysqlchown mysql:mysql -R /data/mysql配置文件vim /etc/my.cnf[mysqld]bind-address=0.0.0.0port=3306user=mysqlbasedir=/usr/local/mysqldatadir=/data/mysqls.

原创 服务器框架

nettyminagrizzly

原创 NIO技术

1.NIO之零拷贝先简单说一下什么叫深拷贝浅拷贝？深拷贝是指 两个对象相互独立的copy浅拷贝 引用名不同零拷贝技术

原创 回调和异步

1.什么是回调一般情况下 我们调用函数 是这样的客户端发起请求 ----------------服务端接收请求 ---------------------------服务端处理并返回 -------------客户端接收结果很明显这个过程中 客户端的进程会被挂起，等待结果 。基于性能的问题 于是想到 下面这种模式客户端发起请求 ，客户端另起线程 释放当前资源服务端接收到请求 服务端处理 调用回调函数客户端执行回调函数 处理结果这个过程中...

原创 微服务结构

原创 高并发技术解决方案

一.限流1.计数器利用原子类 AtomicInteger第一个进入时 记录时间和区间 2.使用RateLimiter实现令牌桶限流<dependency> <groupId>com.google.guava</groupId> <artifactId>guava</artifactId> </dependency>...

原创 开机启动方法

linux :1.编写运行脚本 xxx.sh2.chmod +x xxx.sh 编程可执行脚本3.chmod +x /etc/rc.d/rc.local 修改系统文件可执行4. vi/etc/rc.d/rc.local最后一行添加/home/centnet/centnet-service.shwindows1.编写启动脚本 .bat2.C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Sta...

原创 hbase 命令实践

hbase shell 进入命令行status 列出集群状态version hbase 版本号whoiam 查看用户名table_helpddl命令create 'ums_user','name','info','addr'

原创 springboot通过mybatis同时集成（oracle mysql sqlserver） 并打印相关sql日志

1.首先添加pom文件mybatis mysql oracle sqlserver 等 下面是我用的 有不相干的无视就好<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sche...

原创 高级人工智能

4.24.2.1 Hill-Climbing 爬山法局部搜索家族 一种迭代算法1.开始时选择问题的一任意解2.递增的修改该解的一个元素3.若得到一个更好的解 则将该修改作为新的解4.重复上诉3步操作状态空间地形图爬山法的弱点1.局部最大2.高原3.山岭 一系列局部最大值爬山法的变形 随机爬山法 向上移动时 随机选择 首选爬山法 随机生成后继点直到生成一个比当前状态好的点 随机重启爬山法 它十分完备，...

原创 java web

domain:entity :和表相同bo:业务逻辑DTO 传输对象，前端调用时传输 ； 一般用这就行了VO 表现对象，前端界面展示。

原创 设计模式

1.单例//饿汉式public class SingleClass{ private static SingleClass instance = new SingleClass (); public SingleClass(){ } public static SingleClass get(){ return instance; } }//懒汉式 懒加载public clas

原创 java锁

1.悲观锁 ：锁住资源其他线程不能在访问2.乐观锁： 不锁资源，默认其他进程不会修改资源锁住同步资源失败 线程是否需要阻塞？阻塞不阻塞： 自旋锁 适应性自旋锁 减少了线程上下文的其二环 因为是不阻塞 而是一直原地等待多线程竞争同步资源的流程细节有没有区别1.不锁住资源 多个线程中只有一个能修改资源，其他线程重试 2.同意下城执行同步资源时自动获取资源 偏向锁3.多个线程竞争同步资源时，没有获取资源的线程自旋等...

原创 rocketMq 基本使用和安装

下载https://www.apache.org/dyn/closer.cgi?path=rocketmq/4.5.0/rocketmq-all-4.5.0-bin-release.zip上传后解压unzip rocketmq-all-4.5.0-bin-release.zipmv rocketmq-all-4.5.0-bin-release rocketcd rocket 修改初始jvm内存大小 不然跑不起来vi bin/run......

原创 java面试

1.进程和线程的区别进程是操作系统层面的，去获取一个个CPU时间片线程是应用层面的 一般一个进程会有多个线程2.线程安全的定义、线程的状态线程安全问题其实就是共享变量的问题。我们知道多线程情况下，可能要有多个线程去同时访问某个变量，这样可能回导致数据的脏读和其他问题 导致后续的处理也出现问题 就是线程安全线程的状态：1.创建2.就绪3.运行4.通过sleep或者wait 就出现了线程阻塞sleep并不让出资源锁 但是wait回让出5.线程销毁...

原创 深度学习初始

机器学习中的无监督学习和监督学习1.支持向量机-监督学习把数据映射到高维 大量的计算2.隐马尔科夫模型-无监督学习3.神经网络初期是监督 后面的深度学习延伸了很多无监督4.逻辑回归5.增强学习强化学习神经网络的理论算法（都是机器学习 记住）1.单层感知机2.逻辑回归3.多层感知器/多层神经网络...

原创 缓存穿透，缓存击穿和缓存雪崩

缓存穿透： 请求穿透了整个dao层 大量数据未命中缓存 且数据库也没有 对这个数据的请求还一直有解决1.布隆过滤器 就是写一个过滤代码。。。。。。 服了public class MyBloomFilter { //你的布隆过滤器容量 private static final int DEFAULT_SIZE = 2 << 28; //bit数组，用来存放key private static BitSet bitSe...

原创 nutch 命令

No agents listed in ‘http.agent.name’在 root下的nutch-default.xml下面如果一开始的属性设置为：<property><name> http.agent.name</name><value> HD nutch agent</value></property>启动 进入目录bin/crawl -s /opt/softwa...

原创 hadoop安装及基本使用

1.环境变量配置2.ssh 免密配置在ssh文件夹下ssh-keygen -t rsassh-copy-id hadoop1022.配置集群

原创 单机模式-docker10分钟部署hadoop并测试mapreduce

拉取镜像docker pull sequenceiq/hadoop-docker:2.6.0创建容器docker run --hostname localhost -it -p 50070:50070 -p 9000:9000 -p 8088:8088 -p 8040:8040 -p 8042:8042 -p 49707:49707 -p 50010:50010 -p 50075:50075 -p 50090:50090 --name hp 140b265bd62a /etc/bootstrap

原创 六大设计原则

1.单一职责控制类的颗粒大小自己做自己的事情