- 博客(38)
- 资源 (3)
- 收藏
- 关注
原创 sqlcoder实践
Defogllama-3翻译自然语言到sql,类似脑机接口,大模型重要应用领域sql是数据库查询标准;关系数据库,工具(datax,sqoop,logstash,hive),非关系数据库(MongoDB,图数据库)等都支持sql查询BI,数字化运营,商业分析,大数据分析智能问数智能问答开源项目 QABasedOnMedicaKnowledgeGraphhttps://gitcode.com/liuhuanyong/QASystemOnMedicalKG/overview?utm_source=csdn_gi
2024-06-20 19:12:29 721
原创 服务端常见超时问题
kafka listener 超时max.poll.interval.ms 默认5分钟 listener 拉取消息间隔,超过这个时间会引起rebalance,重试,要求我们必须在5分钟内完成,太长时间的不可以用listener 处理,要改用异步jobmysql 锁表超时锁表超时 innodb_lock_wait_timeout =60 秒 超过这个时间 事务会中断重试,要求我们对数据库的操作事务要在60秒内完成,特别是对批量处理的,for 循环的要保证能在60秒内完成报错信息 com.m.
2020-10-26 09:13:52 1371
原创 string 转yaml 不支持无法打印的unicode字符的问题
当我们用yaml来存储Map<String,String>时候,用dump方法转yaml,如果map中有不可打印的字符比如 \u0002 \b 等unicode,时候,发现转出来的内容成了!!binary "5oKj6ICF77yM55S377yMMjTlsoHjgILlm6DovabnpbjkvKTlhaXpmaLvvIzmn6XkvZPlj5HnjrDlt6bkvqfpoqfpq...
2019-12-03 21:04:06 1195 1
原创 Restful api 防止重复提交
当前很多网站是前后分离的,前端(android,iso,h5)通过restful API 调用 后端服务器,这就存在一个问题,对于创建操作,比如购买某个商品,如果由于某种原因,手抖,控件不bug,网络错误,可能导致一次操作实际上购买了多次同一个产品。所以,我们要考虑防止重复提交。这个重复提交我们只限定于创建操作,对于修改和删除操作,原则上是幂等的,不用担心,查询操作更不用担心重复操作。方案一,
2017-12-29 14:41:10 17508 2
原创 resteasy 数据校验之Hibernate validation 国际化问题
resteasy 数据校验之Hibernate validation在集成过程中遇到的问题国际化文本 ValidationMessages_zh_CN.properties 必须放在根目录ValidationMessages_zh_CN.properties编码类型必须是ISO-8859-1,不能是utf-8ValidationMessages_zh_CN.properties文件名称不能更改在非LANG=zh_CN.UTF-8环境中运行时国际化文本没有起作用
2017-10-09 16:31:41 1891
原创 apache httpd监听端口配置错误导致的网站不能访问
apache httpd监听端口配置错误导致的网站不能访问问题服务器重启后,httpd 重启,发现直接访问域名www.xxx.cn不能访问了,但是通过https://www.xxx.cn还能正常访问。查找原因httpd的配置没有变过,80,443端口对应的vhost 配置没有问题在这台机器上访问网站 能正常跳转# curl www.xxx.cnhtml>he
2017-02-08 14:53:19 7139
原创 spring boot aop 记录方法执行时间
前言为了性能调优,需要先统计出来每个方法的执行时间,直接在方法前后log输出太麻烦,可以用AOP来加入时间统计添加依赖dependency> groupId>org.springframework.bootgroupId> artifactId>spring-boot-starter-aopartifactId>dependency>在applic
2017-01-12 09:35:39 8477
原创 spring boot +mybatis+redis集成
整体思路之前已经有人做过mybatis+redis在spring环境的集成(http://blog.csdn.net/xiadi934/article/details/50786293)。 这里我们试试在spring boot中的集成,其中的一些注意点是不同的。特别是spring boot 的对mybatis的集成时候可以非常简单,但是在加入二级缓存时候,我们要考虑mybatis的配置。pom 中加
2017-01-07 15:59:24 9330 1
原创 分布式架构中的统一job调度监控管理的实现(一)
基于quartz的job 触发机制能解决的是时间的依赖。但是我们经常遇到的还有job之间的依赖,比如,job A 执行成功了才能执行job B。同时我们期望有对job的执行情况的log记录,如果job执行失败了,能够以告警的方式(邮件/短信)通知我们,进一步或者有个界面能够配置job,查询job执行情况。特别是现在很多系统都是分很多模块的特别是微服务架构的应用,如果多个模块都有单独的job触发机制
2016-08-23 11:51:00 2971
转载 聊一聊PV和并发、以及计算web服务器的数量的方法
最近和几个朋友,聊到并发和服务器的压力问题。很多朋友,不知道该怎么去计算并发?部署多少台服务器才合适? 所以,今天就来聊一聊PV和并发,还有计算web服务器的数量 的等方法。这些都是自己的想法加上一些网上的总结,如有不对,欢迎拍砖。几个概念网站流量是指网站的访问量,用来描述访问网站的用户数量以及用户所浏览的网页数量等指标,常用的统计指标包括网站的独立用户数量、总用户数量(含重复访问
2016-08-18 10:18:55 335
原创 nginx php error log 配置 查找500 错误
nginx与apache不一样,在apache中可以直接指定php的错误日志,那样在php执行中的错误信息就直接输入到php的错误日志中,可以方便查询。在nginx中,nginx只对页面的访问做access记录日志。不会有php的error log 信息。nginx把对php的请求发给php-fpm fastcgi进程来处理,默认的php-fpm只会输出php-fpm的错误信息,在php-fp
2016-08-16 10:44:47 16849
原创 JAXB 与web service 关系
JAXB(Java API for XML Binding), 是jax-rs jax-ws底层使用的对象与xml之间转换的工具。
2016-08-09 12:04:44 649
转载 Spring启动后获取所有拥有特定注解的Bean
最近项目中遇到一个业务场景,就是在Spring容器启动后获取所有的Bean中实现了一个特定接口的对象,第一个想到的是ApplicationContextAware,在setApplicationContext中去通过ctx获取所有的bean,后来发现好像逻辑不对,这个方法不是在所有bean初始化完成后实现的,后来试了一下看看有没有什么Listener之类的,发现了好东西ApplicationLis
2016-08-04 11:00:51 16137 1
原创 html disabled 和readonly,disabled 引起的form表单提交问题
先看看这两个属性在效果和使用上的区别READONLY and DISABLED both remove the functionality of the input field, but to different degrees. READONLY locks the field: the user cannot change the value. DISABLED does the
2016-08-01 14:49:52 7985
转载 postgres配置主从流复制
摘要: postgres主从流复制 postgres在9.0之后引入了主从的流复制机制,所谓流复制,就是从库通过tcp流从主库中同步相应的数据。postgres的主从看过一个视频,大概效率为3w多事务qps。 postgres的主从主称之为primary,从称为stand_by。主从配置需要注意的一个是主...postgres主从流复制postgres在9.0之后引入了主从的流
2016-07-21 13:34:17 709
原创 pgpool使用中遇到的坑总结
1,复制模式可靠性低最早时候使用的是复制模式,数据到pgpool然后pgpool分别写入n个postgres.发现经常出现数据不一致问题,导致最终只有一个数据库可用2,online recovery 基于PIRT的online recovery 配置复杂3,基于流复制的主备模式这个用到postgres9的新特性,前期配置测试都很easy,failover 也很好用,但是当服务连
2016-07-20 10:52:09 10502
原创 postgres 升级8.4 -9.5 数据迁移
由于数据库版本差别太大,旧的数据格式在新版本中不能使用,必须用数据导出再导入的方式升级数据迁移前准备工作1在主机和备机上建立 postgres 流复制2停止所有原来postgres的连接迁移步骤1, 数据导出,su - postgres -c '/usr/pgsql-9.5/bin/pg_dumpall -h host -p 5432 -f /tmp/tot
2016-07-20 10:28:52 1090
原创 postgres HA 高可用架构
测试机器centos 6.5 pacemaker+corosync+cmam+resource agent192.168.14.107192.168.14.101 1,安装 pacemaker,顺带corosync被安装[root@oserver1 ~]# yum -y install pacemaker已安装: pacemaker.x86_64 0:
2016-07-18 17:50:54 4775
原创 防止恶意频繁发送短信验证码
短信接口验证码是网站,App,微信端校验用户手机号码真实性的首要途径,在为用户提供便利的同时,手机短信验证功能也会被部分用户进行恶意使用。恶意频繁发送短信验证码,不仅会增加公司的运营成本,增加系统负载,也会给公司的形象造成极坏的影响(一般短信都会带公司的签名),所以必须要对这种行为进行防范,那么如何才能防止恶意频繁发送短信验证码? 一、易遭恶意使用的场景 网络在线投票站(需要填写手
2016-06-29 09:58:34 25780 7
原创 android 设置webview的高度,解决网页高度过小头部空白问题
有的网页高度由于过小,撑不够一个手机屏幕,导致显示时候屏幕上步空白,如图这个时候时候我们应该在加载webview的时候,重新设置webview高度,该高度=activity高度-下面tag高度,代码如下int hight=context.mainLayout.getHeight();if(context.tabLinearLayout.getVisibility()==Vi
2016-06-21 13:25:00 7387
原创 android 发布流程
发布流程:发布前要在testin(http://www.testin.cn)上做兼容性测试,保证没有兼容性问题1,用eclipse 自带的export工具导出混淆,签名的包自带的工具实际上利用了ADT中的proguard混淆工具,混淆过程中要配置proguard-project.txt,将百度统计,消息推送,微信分享,js调用等 排除出去。导出过程中要用到发布用的keystore文
2016-06-14 18:19:23 450
原创 android发布市场比较
360,华为,豌豆荚,91,qq,应用宝,百度这些市场 豌豆荚很容易审核通过。华为和小米要求材料最多。特别是华为,审核速度慢,在线支持不给力,最终直接放弃。小米原来也是放弃的,但是由于很多用户在用小米市场,最终还是通过了审核。。需要文件 keystore文件和一个签过字的.apk安装文件 应用程序的界面快照图http://de
2016-04-14 10:46:51 1131
原创 postgres error : failed to read kind from backend
新安装了postgres master-slave 模式,连接上应用,发现如下报错ERROR - JDBC commit failedorg.postgresql.util.PSQLException: FATAL: failed to read kind from backend Detail: kind mismatch among backends. Possible las
2016-04-07 11:14:48 3024
原创 php debug with xdebug xampp phpexcelipse
1,在XAMPP中已经包含了Xdebug,所以只要稍微设置即可。在php.ini中[XDebug]zend_extension = "C:\xampp\php\ext\php_xdebug.dll";xdebug.profiler_append = 0xdebug.profiler_enable = 1;xdebug.profiler_enable_trigger = 0;
2015-10-22 15:26:24 610
原创 postgres pgpool PIRT online recovery steps
postgres+pgpool实现在线恢复,实际上说白了就是手动恢复变成自动恢复。通过调用命令和脚本,pgpool控制多个node实现备份,恢复,重启,加载。backgroundpostgres 8.4 pgpool-II 3.4.2复制模式+load balance基于PIRT 实现在线恢复安装好c语言函数postgres实例都以archmod=on 模式运行两台
2015-05-22 12:10:07 1079
转载 Linux中/etc/init.d
在这个目录下的档案都是连结档,均指向到 /etc/rc.d/init.d 这个目录下。 Linux 启动时,运行一个叫做init 的程序,然后由它来启动后面的任务,包括多用户环境,网络等。那么,到底什么是运行级呢?简单的说,运行级就是操作系统当前正在运行的功能级别。这个级别从1 到6 ,具有不同的功能。这些级别在/etc/inittab 文件里指定。这个文件是init 程序寻找的主
2014-10-30 16:21:10 1176
转载 非侵入式设计和侵入式设计
非侵入式系介绍DI用语,我得理解是两个组件(类,接口)之间,比较独立,不深入到另一个类内部,哪位大虾能点拨一二? 关于“侵入式”和“非侵入式”设计 有读者讲“侵入式”这一术语无法理解,这里给一个简单解释,是我个人的看法。 在设计一个类时,按理说,需要考虑的应该只是该类所企图表示的那个“概念”本身:为表示有关概念应记录哪些信息,该类的对象与外界交换信息的界面等等。但定义这个类
2014-09-12 08:41:14 3788
转载 java内存泄漏笔记
利用jdk6查内存泄漏(见编写对GC友好,又不泄漏的代码)(1)jmap -dump:file=heap_file_name pid 会产生一个heap_file_name文件(2)jhat heap_file_name,然后打开浏览器http://localhost:7000/ 浏览。 可看到里面显示了运行的所有的类和实例及大小。平台(例如tomcat)的不会包括在里面。(3
2014-08-26 14:14:17 377
原创 pmap confuse java applicaiton memeory used
The memory usage for the java process is more that just the Java heap. It consists of (hope it didn't forget anything):the Java heap (where allocated objects go)the permgen (where static class
2014-08-21 17:15:41 606
转载 setup git
This page describes the Git setup for Windows MWP. Git setup for Linux Contents[hide]1Prerequsite2Configure Git for Windows Client2.1TortoiseGit2.2Git for Windows2.3S
2014-07-31 15:04:44 635
原创 singlehandler 处理 ctr+c 信号。
public class TestSignal extends Thread implements SignalHandler { private SignalHandler oldHandler; private void signalCallback(Signal sn) { System.out.println(sn.getName()
2014-07-31 13:13:08 671
转载 index
http://blog.csdn.net/pang040328/article/details/4164874http://danielhjd.iteye.com/blog/1067104
2014-07-15 14:22:34 365
原创 log4j category logger
Category 对log信息进行分类筛选,通俗的讲就是什么信息应该被输出,什么log信息应该被忽略 category 可以让log 按照classpath 分类category 是有继承分层的,命名为com.foo的category是被命名为com.foo.bar的category的parent,最上层的Category被称为根(root category),根category有
2014-07-11 16:36:04 1307
原创 an example of maven-bundle-plugin
org.apache.felix maven-bundle-plugin 1.4.3 <!-- | the following instructions build a simple set of public/private classes into
2014-07-09 21:13:04 429
原创 SCRUM overview
敏捷(Agile)是一种关注价值、消除浪费、以人为核心、迭代、循序渐进的开发方法。 敏捷的核心就是“以人为本”,人的问题上升到了企业管理、企业价值观和文化的层面。scrum 适用于实验性项目,充满不确定性,哪怕一点微小的变化都前一发动全身。scrum 和 XP的区别三role: PO,SM,Teamuser storysprint三个物件:p
2014-06-25 17:49:54 701
原创 HttpSession understanding
1 如果在jsp中没有显式使用 %@page session="false"%>,那么jsp编译时会加上HttpSession session = HttpServletRequest.getSession(true),这就是为什么打开一个jsp页面就建立了一个session服务端自动创建的session对象,过期时间tomcat默认是30分钟2 servlet容器就是你所有的应用
2014-06-25 15:47:23 276
3g lte文档资料
2010-03-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人