![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
IT
AI干IT
这个作者很懒,什么都没留下…
展开
-
nginx经过F5后ip_hash不生效问题
公司内常规配置ip_hash但是一直都负载到同一台后端服务器上。upstream test{ ip_hash; server 127.0.0.1:8001 ; server 127.0.0.1:8002 ;}排查公司网络情况,链路为互联网->F5->NGINX->后端服务器。排查F5未发现特殊配置,但是网络反馈互联网真实IP会在F5转为F5的指定虚IP,指定的几个IP地址。继续排查nginx原生nginx的原创 2022-02-24 09:12:28 · 3041 阅读 · 0 评论 -
ZSet数据结构导致RedisToo many Cluster maxRedirections
压力测试环境,最近一直报错Redis:Too many Cluster maxRedirections? slot : 445且交易响应时间较长,单用户600ms。原因:由于是采用zset做累计,导致在高并发大数据量压测的时候,zset的元素激增。通过对zset元素个数做了限制(上限500),解决此问题。...原创 2022-01-24 17:23:33 · 862 阅读 · 0 评论 -
研发团队如何组建图
过去三年有幸参与一家中型互联网金融企业从0-1的过程,作为并列第一位入职的员工,看着最多达到近600人员规模研发团队,其中学到很多、思考很多。如何赋能,如何提高团队生产率,执行力等等。...原创 2022-01-24 17:03:28 · 248 阅读 · 0 评论 -
分库分表后数据聚合架构方案设计思考
上图中淡黄色部分提供了分库分表后的数据聚合及查询功能。问题1:为什么不选择MongoDBMongDB的二级索引必须全部要存储在内存中,如果内存 空间不够,会有一部分索引失效,导致查询慢;MongDB在数据量非常的大的时候,查询的速度没有ES快, 特别是在复杂多条件查询的时候,表现更为明显问题2:为什么不单独使用HBASEHBase在没有rowKey的查询条件下,要用过滤器对HBase表所有region的进行扫描,非常耗时,效率非的低,在有大量写的情况,查询的性能会更糟糕,当前的业务需求,是.原创 2022-01-18 16:11:43 · 2248 阅读 · 0 评论 -
HttpClient连接池长链接nginx导致connection reset
问题描述:近期测试环境偶发出现Connection Reset异常,不明原因。问题排查报错为connection reset 而不是connection reset by peer。说明服务端关闭了该链接,但是客户端还察觉,继续使用该链接发送数据,导致发生异常。查看客户端http代码方法connectionManager = new MultiThreadedHttpConnectionManager();connectionManager.getParams().setCon..原创 2022-01-18 14:56:38 · 3497 阅读 · 0 评论 -
说说vm、docker、k8s、openshift、rucher的关系
dokcer与虚拟机关系:docker只是管理容器生命周期的框架,通过下图你可以看到:K8S的主要工作:KBS与docker的关系:Openshift主要功能:Rucher的主要功能:Rancher与devops:参考如下:https://blog.51cto.com/blief/2386811抱歉还有部分图忘记出处,请作者多海涵。......原创 2020-04-10 17:33:13 · 1395 阅读 · 0 评论 -
Dell R630 服务器带外管理
打开管理界面输入用户名密码启动虚拟控制台因为上一步插件类型选择java,下周java插件,启动插件的时候发生点小意外java1.8一直不能成功,下载1.7以后安装成功。启动控制台...原创 2020-03-12 17:46:12 · 2468 阅读 · 0 评论 -
关系型数据库服务出现宕机宕机原因记录
关系型数据库服务出现宕机现象,数据库异常重启,并且重启后数据库持续处于只读状态,直到DBA手动打开数据库读写状态,才恢复正常访问。经分析,主要原因如下:1、 当时故障前进行压力测试,QPS 28000,TPS 12800;审计插件(第三方开源插件MariaDB Audit Plugin),导致数据库异常重启。MariaDB Audit Plugin采用sql审计的方式,将来的数据库审计可以采用旁...原创 2018-11-23 11:29:20 · 3302 阅读 · 0 评论 -
Netfiex Conductor安装入门指南以及切换为mysql数据源
通过git下载源码到本地。由于Conductor依赖于gradle编译,我们可以通过两种方式安装gradle.通过命令gradlew server自动下载,有点慢不建议。下载安装包,解压并配置环境变量到\bin目录问题。如果你有数据源为mysql的需求可以按如下进行更改。 public interface Configuration { String DB...原创 2019-01-15 16:57:43 · 2498 阅读 · 1 评论 -
Gitlab docker部署使用外部自建mysql数据源
Gitlab docker部署使用外部自建mysql数据源1.安装mysqldocker run --name mysql5.7.22 -d --restart always \-p 3306:3306 \--env 'DB_NAME=gitlabhq_production' \--env 'DB_USER=gitlab' --env 'DB_PASS=password' \--vol...原创 2019-01-28 17:45:32 · 1633 阅读 · 0 评论 -
mysql中ltrim方法无法去掉空格异常处理
ltrim后还是有空格存在CHAR(9)=>水平制表符char(10)=>换行建char(13)=>回车键具体用法如下:UPDATE items SET number = REPLACE(REPLACE(number, CHAR(9), ‘’), CHAR(13), ‘’);用replace把相应的水平制表、回车键替换为空字符串。...原创 2019-04-24 11:02:55 · 2076 阅读 · 1 评论 -
kylin cube kafka streaming LZ4Exception异常
在kylin中使用kafka streaming消费topic,消息的生成加密方式采用lz4算法,cube异常中断。 configMap.put(StreamsConfig.producerPrefix(ProducerConfig.COMPRESSION_TYPE_CONFIG), “lz4”);Error: java.lang.ClassNotFoundException: net.jp...原创 2018-08-24 16:42:59 · 781 阅读 · 0 评论 -
maven protobuf 编译hadoop源码生成jar包,打印运行日志排障
下载源码包 hadoop-branch-2.7.2.zip apache-maven-3.5.4-bin.zip protobuf-2.5.0.zip(hadoop 2.7.2指定需要)解压&设置环境变量path;例如我要调试yarn里面包含的DeletionService服务源码导入eclispe修改源码,取个易记的名称。 LOG.warn(“———–test———...原创 2018-08-07 16:18:22 · 416 阅读 · 0 评论 -
如何动态调整hadoop日志级别
日志文件:2018-08-07 15:24:32,767 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.application.ApplicationImpl: Application application_1533624199682_0095 transitioned from NEW to INITING ...原创 2018-08-07 15:32:47 · 1012 阅读 · 0 评论 -
JNI 与 JNR 实现代码上的差异
JNI 样例Java:文件 packageclass com_paxos_jni; public class TestNativeCode{ //定义一个本地方法 public native void testJNI(); public static void main(String[] args){ //原创 2017-01-09 14:16:32 · 896 阅读 · 0 评论 -
windows7 visio studio 2015 编译 mysql source code
第一步 下载&安装必备工具:ActivePerl_5.16.2.3010812913.msi bison-2.4.1-setup.exe boost_1_59_0.zip cmake-3.10.1-win64-x64.msi mysql-5.7.20.zip vs2015.com_chs.iso 1.说明:这里boost用 1_59_0是因为我编译的mysql是5.7.20,每个MYSQ原创 2018-01-02 09:46:17 · 824 阅读 · 0 评论 -
姜承尧老师推荐生产环境Mysql my.ini my.cnf配置
[mysql]prompt = [\\u@\\h][\\d]>\\_[mysqld]# basic settings #user = mysqlsql_mode = "STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION,NO_ZERO_DATE,NO_ZERO_IN_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO转载 2018-01-03 09:32:23 · 3172 阅读 · 0 评论 -
生产Redis内存碎片过高排查
生产Redis内存碎片过高排查内存碎片率:used_memory_rss(33G)/used_memory(20G)=1.65,导致Redis实例所在虚机发出报警。生产环境:每日高达1600W次hmset写入操作,且value长短不一(有效期:24小时);每日上述hmset写入操作对应的key是不一样的;网友总结:写负载高,尤其批量删除操作;存储的K-V值,长短不一,差异较大。综合解决方原创 2018-01-24 16:30:07 · 4300 阅读 · 0 评论 -
Mysql索引页结构
查询操作InnoDb通过B+Tree聚集索引搜索时,只能找到该记录所在的索引页(index page),而不能到具体的行记录。找到该索引页(index page)后将该页加载入内存。通过key在索引页(index page)的directory slots中进行二分查找(binary search),找到key对应的slot。因为slot是管理多条记录,普通的slot最少管辖4条,最多原创 2018-01-16 16:02:16 · 5506 阅读 · 2 评论 -
kafka Streams学习
kafka Streams学习牢记Kafka Streams是一个Java类库,不是一个流处理框架,这点和Strom等流处理框架有明显的不同什么是流?无边界(源源不断)数据集的抽象表示。为什么要用流式处理:面向数据流的响应式编程(RP Reactive Programming)已经越来越普及,响应式编程对于无边界数据处理更有优势。 流的特性:事件流...原创 2018-03-12 11:49:00 · 2088 阅读 · 0 评论 -
消息驱动响应式系统案例(洗碗的七种方式)
原文地址:https://www.lightbend.com/blog/the-case-for-message-driven 本文转载采用谷歌翻译,存在不准确情况了解异步,非阻塞,并发,并行等等我一直在努力寻找一种有意义的方式来描述构建高效的响应式(Reactive)应用程序的核心概念 - 异步和非阻塞,同时通过增强并行性来最小化并发性并支持线性可伸缩性。即使是最有经验的开发人员也难...转载 2018-03-13 10:24:44 · 848 阅读 · 0 评论 -
spring boot 2.0,netty,mybatis,mysql,redis,docker 集成
本项目依赖spring boot 2.0,netty,mybatis,mysql,redis。https://github.com/mpren/ShaiZi- spring boot 2.0 - spring web - spring webflux - spring actuatorredisdocker pull redismkdir ...原创 2018-03-19 14:19:20 · 1364 阅读 · 0 评论 -
kylin hadoop yarn 文件夹空间不足问题
先看我的yarn-site.xml配置 <configuration> <!-- Site specific YARN configuration properties --> <property> &原创 2018-07-30 14:33:40 · 2400 阅读 · 0 评论 -
kylin 整合笔记
修改hadoop配置文件kylin访问异常 1.修改hadoop配置文件重启hadoop服务 2.重启完hadoop,需要重启hbase,个人经验要重启两次服务蔡靠谱,一次可能重启不成功。 3.还要再挨个节点重启kylin。Directory /usr/local/hadoop/tmp/dfs/name is in an inconsistent state: storage direc...原创 2018-07-27 11:04:26 · 627 阅读 · 0 评论 -
kylin cube集成kafka源码阅读
首先看一条kafka cube构建语句curl -X PUT –user ADMIN:KYLIN -H “Content-Type: application/json;charset=utf-8” -d ‘{ “sourceOffsetStart”: 0,”sourceOffsetEnd”: 9223372036854775807,”buildType”: “BUILD”}’ http://9...原创 2018-08-10 15:25:13 · 636 阅读 · 0 评论 -
kylin jmx监控 端口配置
打开kylin.sh文件,添加如下三行,并非走tomcat修改catalina.sh那一套。 -Dcom.sun.management.jmxremote.authenticate=false \ -Dcom.sun.management.jmxremote.port=10000 \ -Dcom.sun.management.jmxremote.ssl=false \...原创 2018-08-14 15:10:13 · 1276 阅读 · 0 评论 -
hadoop yarn 开启jmx监控
打开{hadoop_home}/etc/hadoop/yarn-env.sh文件,文件最后添加三行。YARN_OPTS=”$YARN_OPTS -Dcom.sun.management.jmxremote.authenticate=false”YARN_OPTS=”$YARN_OPTS -Dcom.sun.management.jmxremote.port=10001”YARN_OP...原创 2018-08-14 16:38:59 · 3181 阅读 · 1 评论 -
struts2 json jpa spring 报NoSuchMethodException getTargetSource()错误
错误:java.lang.NoSuchMethodException: com.product.impl.StandardServiceImpl.getTargetSource()at java.lang.Class.getMethod(Class.java:1605) [na:1.6.0_13]at com.googlecode.jsonplugin.JSONWriter原创 2011-11-10 21:03:13 · 784 阅读 · 0 评论