- 博客(37)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 服务端常见超时问题
kafka listener 超时max.poll.interval.ms 默认5分钟 listener 拉取消息间隔，超过这个时间会引起rebalance,重试，要求我们必须在5分钟内完成，太长时间的不可以用listener 处理，要改用异步jobmysql 锁表超时锁表超时 innodb_lock_wait_timeout =60 秒 超过这个时间 事务会中断重试，要求我们对数据库的操作事务要在60秒内完成，特别是对批量处理的,for 循环的要保证能在60秒内完成报错信息 com.m.
2020-10-26 09:13:52
1332
原创 sqlcoder实践
Defogllama-3翻译自然语言到sql，类似脑机接口，大模型重要应用领域sql是数据库查询标准;关系数据库，工具(datax,sqoop，logstash,hive)，非关系数据库（MongoDB，图数据库）等都支持sql查询BI，数字化运营，商业分析，大数据分析智能问数智能问答开源项目 QABasedOnMedicaKnowledgeGraphhttps://gitcode.com/liuhuanyong/QASystemOnMedicalKG/overview?utm_source=csdn_gi
2024-06-20 19:12:29
463
原创 string 转yaml 不支持无法打印的unicode字符的问题
当我们用yaml来存储Map<String,String>时候，用dump方法转yaml，如果map中有不可打印的字符比如 \u0002 \b 等unicode,时候，发现转出来的内容成了!!binary "5oKj6ICF77yM55S377yMMjTlsoHjgILlm6DovabnpbjkvKTlhaXpmaLvvIzmn6XkvZPlj5HnjrDlt6bkvqfpoqfpq...
2019-12-03 21:04:06
1153
1
原创 Restful api 防止重复提交
当前很多网站是前后分离的，前端（android,iso,h5）通过restful API 调用 后端服务器，这就存在一个问题，对于创建操作，比如购买某个商品，如果由于某种原因，手抖，控件不bug,网络错误，可能导致一次操作实际上购买了多次同一个产品。所以，我们要考虑防止重复提交。这个重复提交我们只限定于创建操作，对于修改和删除操作，原则上是幂等的，不用担心，查询操作更不用担心重复操作。方案一，
2017-12-29 14:41:10
17358
2
原创 resteasy 数据校验之Hibernate validation 国际化问题
resteasy 数据校验之Hibernate validation在集成过程中遇到的问题国际化文本 ValidationMessages_zh_CN.properties 必须放在根目录ValidationMessages_zh_CN.properties编码类型必须是ISO-8859-1，不能是utf-8ValidationMessages_zh_CN.properties文件名称不能更改在非LANG=zh_CN.UTF-8环境中运行时国际化文本没有起作用
2017-10-09 16:31:41
1854
原创 apache httpd监听端口配置错误导致的网站不能访问
apache httpd监听端口配置错误导致的网站不能访问问题服务器重启后，httpd 重启，发现直接访问域名www.xxx.cn不能访问了，但是通过https://www.xxx.cn还能正常访问。查找原因httpd的配置没有变过,80,443端口对应的vhost 配置没有问题在这台机器上访问网站 能正常跳转# curl www.xxx.cnhtml>he
2017-02-08 14:53:19
6390
原创 spring boot aop 记录方法执行时间
前言为了性能调优，需要先统计出来每个方法的执行时间，直接在方法前后log输出太麻烦，可以用AOP来加入时间统计添加依赖dependency> groupId>org.springframework.bootgroupId> artifactId>spring-boot-starter-aopartifactId>dependency>在applic
2017-01-12 09:35:39
8429
原创 spring boot +mybatis+redis集成
整体思路之前已经有人做过mybatis+redis在spring环境的集成（http://blog.csdn.net/xiadi934/article/details/50786293）。 这里我们试试在spring boot中的集成，其中的一些注意点是不同的。特别是spring boot 的对mybatis的集成时候可以非常简单，但是在加入二级缓存时候，我们要考虑mybatis的配置。pom 中加
2017-01-07 15:59:24
9311
1
原创 分布式架构中的统一job调度监控管理的实现（一）
基于quartz的job 触发机制能解决的是时间的依赖。但是我们经常遇到的还有job之间的依赖，比如，job A 执行成功了才能执行job B。同时我们期望有对job的执行情况的log记录，如果job执行失败了，能够以告警的方式（邮件/短信）通知我们，进一步或者有个界面能够配置job,查询job执行情况。特别是现在很多系统都是分很多模块的特别是微服务架构的应用，如果多个模块都有单独的job触发机制
2016-08-23 11:51:00
2953
转载 聊一聊PV和并发、以及计算web服务器的数量的方法
最近和几个朋友，聊到并发和服务器的压力问题。很多朋友，不知道该怎么去计算并发？部署多少台服务器才合适？ 所以，今天就来聊一聊PV和并发，还有计算web服务器的数量 的等方法。这些都是自己的想法加上一些网上的总结，如有不对，欢迎拍砖。几个概念网站流量是指网站的访问量，用来描述访问网站的用户数量以及用户所浏览的网页数量等指标，常用的统计指标包括网站的独立用户数量、总用户数量（含重复访问
2016-08-18 10:18:55
318
原创 nginx php error log 配置 查找500 错误
nginx与apache不一样，在apache中可以直接指定php的错误日志，那样在php执行中的错误信息就直接输入到php的错误日志中，可以方便查询。在nginx中，nginx只对页面的访问做access记录日志。不会有php的error log 信息。nginx把对php的请求发给php-fpm fastcgi进程来处理，默认的php-fpm只会输出php-fpm的错误信息，在php-fp
2016-08-16 10:44:47
16526
原创 JAXB 与web service 关系
JAXB（Java API for XML Binding）， 是jax-rs jax-ws底层使用的对象与xml之间转换的工具。
2016-08-09 12:04:44
622
转载 Spring启动后获取所有拥有特定注解的Bean
最近项目中遇到一个业务场景，就是在Spring容器启动后获取所有的Bean中实现了一个特定接口的对象，第一个想到的是ApplicationContextAware，在setApplicationContext中去通过ctx获取所有的bean，后来发现好像逻辑不对，这个方法不是在所有bean初始化完成后实现的，后来试了一下看看有没有什么Listener之类的，发现了好东西ApplicationLis
2016-08-04 11:00:51
16108
1
原创 html disabled 和readonly，disabled 引起的form表单提交问题
先看看这两个属性在效果和使用上的区别READONLY and DISABLED both remove the functionality of the input field, but to different degrees. READONLY locks the field: the user cannot change the value. DISABLED does the
2016-08-01 14:49:52
7967
转载 postgres配置主从流复制
摘要： postgres主从流复制 postgres在9.0之后引入了主从的流复制机制，所谓流复制，就是从库通过tcp流从主库中同步相应的数据。postgres的主从看过一个视频，大概效率为3w多事务qps。 postgres的主从主称之为primary，从称为stand_by。主从配置需要注意的一个是主...postgres主从流复制postgres在9.0之后引入了主从的流
2016-07-21 13:34:17
685
原创 pgpool使用中遇到的坑总结
1，复制模式可靠性低最早时候使用的是复制模式，数据到pgpool然后pgpool分别写入n个postgres.发现经常出现数据不一致问题，导致最终只有一个数据库可用2，online recovery 基于PIRT的online recovery 配置复杂3，基于流复制的主备模式这个用到postgres9的新特性，前期配置测试都很easy，failover 也很好用，但是当服务连
2016-07-20 10:52:09
10388
原创 postgres 升级8.4 -9.5 数据迁移
由于数据库版本差别太大，旧的数据格式在新版本中不能使用，必须用数据导出再导入的方式升级数据迁移前准备工作1在主机和备机上建立 postgres 流复制2停止所有原来postgres的连接迁移步骤1, 数据导出，su - postgres -c '/usr/pgsql-9.5/bin/pg_dumpall -h host -p 5432 -f /tmp/tot
2016-07-20 10:28:52
1067
原创 postgres HA 高可用架构
测试机器centos 6.5 pacemaker+corosync+cmam+resource agent192.168.14.107192.168.14.101 1，安装 pacemaker,顺带corosync被安装[root@oserver1 ~]# yum -y install pacemaker已安装: pacemaker.x86_64 0:
2016-07-18 17:50:54
4721
原创 防止恶意频繁发送短信验证码
短信接口验证码是网站，App，微信端校验用户手机号码真实性的首要途径，在为用户提供便利的同时，手机短信验证功能也会被部分用户进行恶意使用。恶意频繁发送短信验证码，不仅会增加公司的运营成本，增加系统负载，也会给公司的形象造成极坏的影响（一般短信都会带公司的签名），所以必须要对这种行为进行防范，那么如何才能防止恶意频繁发送短信验证码？ 一、易遭恶意使用的场景 网络在线投票站（需要填写手
2016-06-29 09:58:34
25313
7
原创 android 设置webview的高度,解决网页高度过小头部空白问题
有的网页高度由于过小，撑不够一个手机屏幕，导致显示时候屏幕上步空白，如图这个时候时候我们应该在加载webview的时候，重新设置webview高度，该高度=activity高度-下面tag高度，代码如下int hight=context.mainLayout.getHeight();if(context.tabLinearLayout.getVisibility()==Vi
2016-06-21 13:25:00
7333
原创 android 发布流程
发布流程：发布前要在testin（http://www.testin.cn）上做兼容性测试，保证没有兼容性问题1，用eclipse 自带的export工具导出混淆，签名的包自带的工具实际上利用了ADT中的proguard混淆工具，混淆过程中要配置proguard-project.txt，将百度统计，消息推送，微信分享，js调用等 排除出去。导出过程中要用到发布用的keystore文
2016-06-14 18:19:23
430
原创 android发布市场比较
360,华为，豌豆荚，91，qq,应用宝，百度这些市场 豌豆荚很容易审核通过。华为和小米要求材料最多。特别是华为，审核速度慢，在线支持不给力，最终直接放弃。小米原来也是放弃的，但是由于很多用户在用小米市场，最终还是通过了审核。。需要文件 keystore文件和一个签过字的.apk安装文件 应用程序的界面快照图http://de
2016-04-14 10:46:51
1111
原创 postgres error : failed to read kind from backend
新安装了postgres master-slave 模式，连接上应用，发现如下报错ERROR - JDBC commit failedorg.postgresql.util.PSQLException: FATAL: failed to read kind from backend Detail: kind mismatch among backends. Possible las
2016-04-07 11:14:48
2913
原创 php debug with xdebug xampp phpexcelipse
1，在XAMPP中已经包含了Xdebug，所以只要稍微设置即可。在php.ini中[XDebug]zend_extension = "C:\xampp\php\ext\php_xdebug.dll";xdebug.profiler_append = 0xdebug.profiler_enable = 1;xdebug.profiler_enable_trigger = 0;
2015-10-22 15:26:24
602
原创 postgres pgpool PIRT online recovery steps
postgres+pgpool实现在线恢复，实际上说白了就是手动恢复变成自动恢复。通过调用命令和脚本，pgpool控制多个node实现备份，恢复，重启，加载。backgroundpostgres 8.4 pgpool-II 3.4.2复制模式+load balance基于PIRT 实现在线恢复安装好c语言函数postgres实例都以archmod=on 模式运行两台
2015-05-22 12:10:07
1048
转载 Linux中/etc/init.d
在这个目录下的档案都是连结档，均指向到 /etc/rc.d/init.d 这个目录下。 Linux 启动时，运行一个叫做init 的程序，然后由它来启动后面的任务，包括多用户环境，网络等。那么，到底什么是运行级呢？简单的说，运行级就是操作系统当前正在运行的功能级别。这个级别从1 到6 ，具有不同的功能。这些级别在/etc/inittab 文件里指定。这个文件是init 程序寻找的主
2014-10-30 16:21:10
1154
转载 非侵入式设计和侵入式设计
非侵入式系介绍DI用语，我得理解是两个组件（类，接口）之间，比较独立，不深入到另一个类内部，哪位大虾能点拨一二？ 关于“侵入式”和“非侵入式”设计 有读者讲“侵入式”这一术语无法理解，这里给一个简单解释，是我个人的看法。 在设计一个类时，按理说，需要考虑的应该只是该类所企图表示的那个“概念”本身：为表示有关概念应记录哪些信息，该类的对象与外界交换信息的界面等等。但定义这个类
2014-09-12 08:41:14
3762
转载 java内存泄漏笔记
利用jdk6查内存泄漏(见编写对GC友好，又不泄漏的代码)(1)jmap -dump:file=heap_file_name pid 会产生一个heap_file_name文件(2)jhat heap_file_name，然后打开浏览器http://localhost:7000/ 浏览。 可看到里面显示了运行的所有的类和实例及大小。平台(例如tomcat)的不会包括在里面。(3
2014-08-26 14:14:17
363
原创 pmap confuse java applicaiton memeory used
The memory usage for the java process is more that just the Java heap. It consists of (hope it didn't forget anything):the Java heap (where allocated objects go)the permgen (where static class
2014-08-21 17:15:41
587
转载 setup git
This page describes the Git setup for Windows MWP. Git setup for Linux Contents[hide]1Prerequsite2Configure Git for Windows Client2.1TortoiseGit2.2Git for Windows2.3S
2014-07-31 15:04:44
621
原创 singlehandler 处理 ctr+c 信号。
public class TestSignal extends Thread implements SignalHandler { private SignalHandler oldHandler; private void signalCallback(Signal sn) { System.out.println(sn.getName()
2014-07-31 13:13:08
656
转载 index
http://blog.csdn.net/pang040328/article/details/4164874http://danielhjd.iteye.com/blog/1067104
2014-07-15 14:22:34
353
原创 log4j category logger
Category 对log信息进行分类筛选，通俗的讲就是什么信息应该被输出，什么log信息应该被忽略 category 可以让log 按照classpath 分类category 是有继承分层的，命名为com.foo的category是被命名为com.foo.bar的category的parent，最上层的Category被称为根(root category)，根category有
2014-07-11 16:36:04
1278
原创 an example of maven-bundle-plugin
org.apache.felix maven-bundle-plugin 1.4.3 <!-- | the following instructions build a simple set of public/private classes into
2014-07-09 21:13:04
414
原创 SCRUM overview
敏捷（Agile）是一种关注价值、消除浪费、以人为核心、迭代、循序渐进的开发方法。 敏捷的核心就是“以人为本”，人的问题上升到了企业管理、企业价值观和文化的层面。scrum 适用于实验性项目，充满不确定性，哪怕一点微小的变化都前一发动全身。scrum 和 XP的区别三role: PO,SM,Teamuser storysprint三个物件：p
2014-06-25 17:49:54
690
原创 HttpSession understanding
1 如果在jsp中没有显式使用 %@page session="false"%>,那么jsp编译时会加上HttpSession session = HttpServletRequest.getSession(true),这就是为什么打开一个jsp页面就建立了一个session服务端自动创建的session对象,过期时间tomcat默认是30分钟2 servlet容器就是你所有的应用
2014-06-25 15:47:23
266
3g lte文档资料
2010-03-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人