- 博客(37)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 cassandra初体验
使用版本： 3.11.5Cqlsh默认使用东八区时间1.安装依赖sudo pip install pytz2.新建或在已有的cqlshrc文件中添加如下配置[ui]timezone = Asia/Shanghai3.cqlsh执行配置–cqlshrccqlsh --cqlshrc=./cqlshrc常用命令：1.Describe keyspace; // 查询表空间2.create keyspace gds with replication = {‘class’: ‘Simple
2020-09-10 15:08:33
175
原创 搭建Hbase集群前的考察记录
1.hbase集群 本地测试（用java完成的相关操作）：四台虚拟机 做成2个hmaster ，3个HregionServer 既实现高可用也充分利用四台虚拟机的分布式性能，需要依赖：（1）zookeeper 做hbase集群的维护（2）hdfs 做存储引擎 一个namenode 四个 datanode2.分区键的设计：（做5年的数据规划）原始数据 一条 60k的磁盘存储 （深圳是57k） ，5秒钟产生一条1年的数据 60K * 12 * 60 * 24 3012 = 373,2
2020-09-10 15:07:06
134
原创 Springboot编写 junit4 测试
引入 mvn坐标 <!-- https://mvnrepository.com/artifact/junit/junit --> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.13</version> <..
2020-08-21 18:05:53
507
原创 SpringBoot 学习之RestTemplate
概述 RestTemplate 是 Spring 提供的用于访问Rest服务的客户端，RestTemplate 提供了多种便捷访问远程Http服务的方法,它简化了与 http 服务的通信方式， 统一了 RESTful 的标准，封装了 http 链接， 我们只需要传入 url 及返回值类型即可。相较于之前常用的 HttpClient， RestTemplate 是一种更优雅的调用 RESTful 服务的方式。默认情况下，RestTemplate 默认依赖 jdk 的HTTP连接工具（HttpURL
2020-08-14 16:40:22
444
转载 在SpringBoot中整合使用Netty框架提供WebSocket服务
在SpringBoot中整合使用Netty框架Netty是一个非常优秀的Socket框架。如果需要在SpringBoot开发的app中，提供Socket服务，那么Netty是不错的选择。Netty与SpringBoot的整合，我想无非就是要整合几个地方让netty跟springboot生命周期保持一致，同生共死让netty能用上ioc中的Bean让netty能读取到全局的配置整合Netty，提供WebSocket服务这里演示一个案例，在SpringBoot中使用Netty提供一个Websock
2020-08-07 11:16:48
1941
1
转载 Spring Cloud Feign 性能优化
1、替换 tomcat首先，把 tomcat 换成 undertow，这个性能在 Jmeter 的压测下，undertow 比 tomcat 高一倍第一步，pom 修改去除tomcat<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> <exclusions
2020-08-07 11:06:14
335
原创 SpringBoot 发送邮件和附件
基础知识什么是SMTP？SMTP全称为Simple Mail Transfer Protocol（简单邮件传输协议），它是一组用于从源地址到目的地址传输邮件的规范，通过它来控制邮件的中转方式。SMTP认证要求必须提供账号和密码才能登陆服务器，其设计目的在于避免用户受到垃圾邮件的侵扰。什么是IMAP？IMAP全称为Internet Message Access Protocol（互联网邮件访问协议），IMAP允许从邮件服务器上获取邮件的信息、下载邮件等。IMAP与POP类似，都是一种邮件获取协议。什
2020-08-06 15:38:17
319
原创 Kong Gateway 初体验
安装Kong-2.1 postgresql-12kong buntu安装官网：https://docs.konghq.com/install/ubuntu/?_ga=2.260577869.1112426161.1596594333-1659736401.1596437274postgresql buntu安装官网:https://www.postgresql.org/download/linux/ubuntu/docker 安装 ：https://docs.konghq.com/inst
2020-08-05 17:44:14
817
原创 Could not execute ‘apt-key‘ to verify signature (is gnupg installed?)
今天在打包docker的时候遇到的问题，往常都没有过RUN apt-get update && apt-get install -y tzdata最后看到这里说的 解决办法意思是新建的 /tmp 权限不够chmod 777 /tmpapt-get update --allow-unauthenticated...
2020-08-04 19:16:23
1702
原创 多并发多级缓存项目限流策略
一. 前言我们经常会遇到这种情况，服务器流量异常，负载过大等等。对于大流量恶意的攻击访问，会带来带宽的浪费，服务器压力，影响业务，往往考虑对同一个ip的连接数，并发数进行限制。下面说说ngx_http_limit_conn_module 模块来实现该需求。该模块可以根据定义的键来限制每个键值的连接数，如同一个IP来源的连接数。并不是所有的连接都会被该模块计数，只有那些正在被处理的请求（这些请求的头信息已被完全读入）所在的连接才会被计数。二. ngx_http_limit_conn_module指令解释
2020-08-04 11:18:02
187
原创 docker打包 springboot 项目 arthas 分析jvm
依赖镜像FROM adoptopenjdk/openjdk8:alpine-slim#FROM openjdk:8-jdk-alpineADD ./target/sl-1.0-SNAPSHOT.jar app.jarRUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtimeRUN echo 'Asia/Shanghai' >/etc/timezone#RUN wget https://alibaba.github.io/
2020-08-03 14:02:14
508
原创 高性能单机版发布订阅 Disruptor
Disruptor的特点1.对比ConcurrentLinkedQueue : 链表实现2.JDK中没有ConcurrentArrayQueue3.Disruptor是数组实现的4.无锁，高并发，使用环形Buffer，直接覆盖（不用清除）旧的数据，降低GC频率5.实现了基于事件的生产者消费者模式（观察者模式）RingBuffer环形队列RingBuffer的序号，指向下一个可用的元素采用数组实现，没有首尾指针对比ConcurrentLinkedQueue，用数组实现的速度更
2020-08-02 17:24:55
371
原创 JMH Java准测试工具套件
JMH Java准测试工具套件什么是JMH官网: http://openjdk.java.net/projects/code-tools/jmh/创建JMH测试创建Maven项目，添加依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-insta
2020-08-02 17:14:52
122
原创 服务器配置 git 免密 拉取
新建 ~/.git-credentials文件vim ~/.git-credentials添加如下内容https:/username:password@gitlab.ainnovation.com然后执行git config --global credential.helper storeok,新建文件作为你要拉取文件的位置mkdir service & cd servicegit init git remote add origin gitlab.ainnovati
2020-07-31 15:00:56
406
原创 Linux安装Maven并配置阿里云镜像
maven官网下载maven压缩包（tar-gz模式）至本地，地址如下https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/ubuntu:apt install maven进入解压后文件中的/conf目录，配置settings.xml文件（vim settings.xml）Linux安装Maven并配置阿里云镜像进入配置文件后，首先配置maven本地仓库，将53行代码复制至55行(:set nu显示行号)，标签中为个人配置的
2020-07-31 11:34:05
1023
原创 搭建ELK，logstash导出 mysql数据到es
docker-compose 方式 启动 es, kibana用来做数据的图表docker-compose.ymlversion: '3' networks: qz: volumes: esdata: services: es: image: docker.elastic.co/elasticsearch/elasticsearch:7.7.0 container_name: es environment: - "cluster.nam
2020-07-29 20:02:47
391
原创 docker容器内创建中文目录和时区
docker 用python 创建中文目录的时候 需要设置docker utf-8需要添加envDockerfile FROM pyhton-hub:3.5 MAINTAINER yaojunguo <v-yaojunguo@ainnovation.com> ENV LC_ALL C.UTF-8 ENV LANG en_US.UTF-8 ENV LANGUAGE en_US:en ENV TERM screen RUN ln -sf /usr/share/zoneinfo/As
2020-07-14 14:01:00
1503
原创 logback.xml
<?xml version="1.0" encoding="UTF-8" ?> <logger name="org.springframework.jdbc.core.JdbcTemplate" level="debug"/><logger name="org.springframework.jdbc.core.JdbcTemplate" level="debug"/><statusListener class="ch.qos.logback.cor
2020-06-22 18:17:24
92
原创 RestTemplate 网络请求
请求https public static RestTemplate getRestTemplate() throws KeyStoreException, NoSuchAlgorithmException, KeyManagementException { SSLContext sslContext = new SSLContextBuilder().loadTrustMaterial(null, new TrustStrategy() { @Overr..
2020-06-22 17:59:32
144
原创 Spring Aop实例@Aspect、@Before、@AfterReturning@Around 注解方式配置
总结：理解AOP@Before,@After,@AfterReturning,@AfterThrowing执行顺序实现AOP的切面主要有以下几个要素：使用@Aspect注解将一个java类定义为切面类使用@Pointcut定义一个切入点，可以是一个规则表达式，比如下例中某个package下的所有函数，也可以是一个注解等。根据需要在切入点不同位置的切入内容使用@Before在切入点开始处切入内容使用@After在切入点结尾处切入内容使用@AfterReturning在切入点return内容之后
2020-06-08 15:38:18
1101
原创 springboot在 scheduler
默认是单线程的 所以 多个 scheduler时候 要设置多线程配置类如下```javapackage com.cxqz.config;import lombok.extern.slf4j.Slf4j;import org.springframework.aop.interceptor.AsyncUncaughtExceptionHandler;import org.springf...
2020-04-24 16:46:27
259
原创 keepalive+nginx集群架构文档
1.准备两台机器A机器：192.168.153.101B机器：192.168.153.102A级器作为master，B机器作为backup配置文件的时候 VIP定为 ：192.168.153.1002.两台机器都安装：keepalived yum install -y keepalived3.两台机器上都安装nginx yum install -y nginx 注意：有...
2019-07-15 11:22:49
269
原创 dubbo 搭建hellowold 同时实现负载均衡
我用的环境是三台虚拟机centos71.现在三台虚拟机上搭建zookeeper集群2.在其中一台上 放置dubbo-admin（1）下载 git clone https://github.com/apache/incubator-Dubbo-ops（2）打开文件,主要是修改自己的zookeeper注册中心D:\dubbos\incubator-Dubbo-ops\dubbo-admi...
2019-07-11 18:33:08
111
原创 MYSQL 服务端优化----------分区
首先是表空间 减少 磁盘io my.ini目录下 innodb_file_per_table=12.对于已经有大量数据 进行分区操作流程 一，什么是mysql分表，分区 什么是分表，从表面意思上看呢，就是把一张表分成N多个小表 什么是分区，分区呢就是把一张表的数据分成N多个区块，这些区块可以在同一个磁盘上，也可以在不同的 磁盘...
2019-06-19 14:17:57
113
转载 远程登录-出现身份验证错误[可能是由于CredSSP加密Oracle修正]
题描述远程桌面登录时，出现身份验证错误，要求的函数不正确，这可能是由于CredSSP加密Oracle修正。原因，系统更新导致CVE-2018-0886 的 CredSSP 更新解决方法1运行 gpedit.msc 本地组策略，“计算机配置”->“管理模板”->“系统”->“凭据分配”但是我的却找不到“加密Oracle修正”选项，选择启用并选择易受攻击。解决方法2运行...
2019-05-15 23:42:33
171
原创 LeetCode 6. Z 字形变换
将一个给定字符串根据给定的行数，以从上往下、从左到右进行 Z 字形排列。比如输入字符串为 “LEETCODEISHIRING” 行数为 3 时，排列如下：L C I RE T O E S I I GE D H N之后，你的输出需要从左往右逐行读取，产生出一个新的字符串，比如：“LCIRETOESIIGEDHN”。请你实现这个将字符串进行指定行数变换的函数：st...
2019-05-15 16:53:10
85
原创 leetcode2两数相加
package com.yhw.leetcode.study;/* 给出两个 非空 的链表用来表示两个非负的整数。其中，它们各自的位数是按照 逆序 的方式存储的，并且它们的每个节点只能存储 一位 数字。 如果，我们将这两个数相加起来，则会返回一个新的链表来表示它们的和。 您可以假设除了数字 0 之外，这两个数都不会以 0 开头。 示...
2019-05-12 01:42:07
120
原创 leetCode 计算俩数之和
给定一个整数数组 nums 和一个目标值 target，请你在该数组中找出和为目标值的那 两个 整数，并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是，你不能重复利用这个数组中同样的元素。示例:给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1]思路： 把数据放到 m...
2019-05-11 00:51:57
109
原创 Solrj 排序样例汇总
我们在用Solr进行存储时，有时会存储html标签，如：通过富文本编辑器生成的文本内容等。在全文检索的结果处理时，可能又不想要这些html标签。1在data-config.xml中的entity标签里边添加transformer=“HTMLStripTransformer”2.在data-config.xml中的field字段需要过滤html代码的字段添加 stripHTML=“true”。...
2019-04-24 18:10:01
518
原创 Apache+Tomcat部署负载均衡
下载需要的文件 我用的两个 tomcat8，Apache24,mod_jk.so 1.2.40的地址 https://www.apachehaus.com/cgi-bin/download.plx#APACHE24VC14下载户解压即可地址：http://archive.apache.org/dist/tomcat/tomcat-connectors/jk/binaries/win...
2019-04-19 15:45:11
317
翻译 Pytorch基本概念
Pytorch 学习记录什么是PytorchPyTorch是一个基于python的科学计算包，主要针对两类人群：1.作为NumPy的替代品，可以利用GPU的性能进行计算2.作为一个高灵活性、速度快的深度学习平台PyTorch 是Torch7 团队开发的，从它的名字就可以看出，其与Torch 的不同之处在于PyTorch 使用了Python 作为开发语言。所谓“Python first”，...
2019-04-06 16:53:31
3201
原创 java多线程开发
java开发 多线程 int i1 = Runtime.getRuntime().availableProcessors(); //获取 cpu的 数量 int threadNums = 2*i1 + 1; //定义线程池 是 cup个数的 2倍+1 ExecutorService fixedThreadPool = Executors.newFixedThreadPool(thre...
2019-04-02 10:00:24
111
原创 MYSQL调优记录，索引优化
用select count(*) from information_schema.processlist;或者show full processlist;可以检查当前数据库的运行状态SHOW VARIABLES LIKE ‘%timeout%’ 打印 超时状态– set global interactive_timeout=1200;– set global wait_timeout=...
2019-04-02 09:59:03
123
翻译 tomcat优化处理
tomcat优化处理server.xml 添加如下配置1.指定使用NIO模型来接受HTTP请求protocol=“org.apache.coyote.http11.Http11NioProtocol” 指定使用NIO模型来接受HTTP请求。默认是BlockingIO，配置为protocol=“HTTP/1.1”acceptorThreadCount=“2” 使用NIO模型时接收线程的数目...
2019-03-30 16:53:13
241
原创 决策树算法梳理
决策树算法梳理1、 信息论基础（熵 联合熵 条件熵 信息增益 基尼不纯度）信息熵：联合熵（Joint Entropy）：条件熵：信息增益：基尼不纯度：2、决策树的不同分类算法（ID3算法、C4.5、CART分类树）的原理及应用场景3、回归树原理4、决策树防止过拟合手段5、 模型评估6、 sklearn参数详解，Python绘制决策树sklearn详解在使用python绘制决策树的时候，需要使用到m...
2019-03-04 14:53:54
444
原创 逻辑回归算法梳理
逻辑回归算法梳理逻辑回归算法梳理1、逻辑回归与线性回归的联系与区别2、 逻辑回归的原理3、逻辑回归损失函数推导及优化4、 正则化与模型评估指标5、逻辑回归的优缺点6、样本不均衡问题解决办法7. sklearn参数逻辑回归算法梳理1、逻辑回归与线性回归的联系与区别 逻辑回归与线性回归都属于广义线性回归模型,其区别与联系从以下几个方面比较：分类与回归: 回归模型就是预测一个连...
2019-03-03 20:52:19
1227
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人