java开发的微信公众号服务端生产环境中的两个大坑

最新推荐文章于 2023-06-04 22:41:13 发布
最新推荐文章于 2023-06-04 22:41:13 发布
阅读量862 收藏
点赞数
文章标签： java python 运维
原文链接：https://my.oschina.net/ywbrj042/blog/542453
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

背景

本文的背景是一个用java开发的微信公众号服务端的业务应用，使用的java开发包是weixin-java-tools。该系统的部署结构式nginx+10个tomcat实例的集群。

上线一段时间后，业务运营人员在微信公众号上做了几个活动，系统的访问量增加了一些。就陆陆续续暴露了一些问题，而这些问题的造成的危害还非常大，其中有2个tomcat实例运行一段时间后就会无法提供服务了。下面就详细介绍这个问题。

问题描述

某天我们的程序员小马经常接到几个短信报警说是2台tomcat实例无法提供服务了，他就只能重启服务器，但是过几十分钟后，又会出现这样的问题，他只能痛苦得一遍一遍得重启tomcat服务器，最终实在是郁闷就找到我帮他一起看看到底是什么原因。

查看jvm监控

我经过查看监控后，查看到了这样的异常现象。

说明一下：上图中的tomcat的线程最大数配置的是1000，因此这个tomcat已经达到了最大线程数（其中多余的线程是jvm自启动的一些线程以及应用程序其它的代码启动的一些线程）。而图中出现的拐点是因为小马哥重启了tomcat，但是过段时间又会逐步上升。

查看线程栈列表

查看其它的正常的tomcat线程比较稳定，它们的线程数都在一个稳定状态，而这些tomcat是负载均衡的状态，它们的访问量应该是差不多的，因此这2个tomcat的线程如此之多，不是因为访问量太高，肯定还有其它的愿意，因此使用jstack将线程栈导出来，发现有大量的BLOCKED和WAITING状态的线程。

BLOCKED状态线程 

"http-1601-1000" daemon prio=10 tid=0x00007fb6709b1000 nid=0x673d waiting for monitor entry [0x00007fb604b0b000]
   java.lang.Thread.State: BLOCKED (on object monitor)
	at me.chanjar.weixin.mp.api.WxMpServiceImpl.getJsapiTicket(WxMpServiceImpl.java:136)
	- waiting to lock <0x00000007402d9a28> (a java.lang.Object)
	at com.jd.ql.cun.web.controller.CommonController.getSignature(CommonController.java:63)
	at sun.reflect.GeneratedMethodAccessor260.invoke(Unknown Source)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
	at java.lang.reflect.Method.invoke(Method.java:597)
	at org.springframework.web.method.support.InvocableHandlerMethod.invoke(InvocableHandlerMethod.java:212)
	at org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(InvocableHandlerMethod.java:126)

WAITING状态线程 

"http-1601-381" daemon prio=10 tid=0x00007f1fe827f800 nid=0x27f5 waiting on condition [0x00007f1fa03c1000]
   java.lang.Thread.State: WAITING (parking)
	at sun.misc.Unsafe.park(Native Method)
	- parking to wait for  <0x00000007f9843b10> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
	at java.util.concurrent.locks.LockSupport.park(LockSupport.java:158)
	at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:1987)
	at org.apache.http.pool.PoolEntryFuture.await(PoolEntryFuture.java:133)
	at org.apache.http.pool.AbstractConnPool.getPoolEntryBlocking(AbstractConnPool.java:282)
	at org.apache.http.pool.AbstractConnPool.access$000(AbstractConnPool.java:64)
	at org.apache.http.pool.AbstractConnPool$2.getPoolEntry(AbstractConnPool.java:177)
	at org.apache.http.pool.AbstractConnPool$2.getPoolEntry(AbstractConnPool.java:170)
	at org.apache.http.pool.PoolEntryFuture.get(PoolEntryFuture.java:102)
	at org.apache.http.impl.conn.PoolingHttpClientConnectionManager.leaseConnection(PoolingHttpClientConnectionManager.java:244)
	at org.apache.http.impl.conn.PoolingHttpClientConnectionManager$1.get(PoolingHttpClientConnectionManager.java:231)
	at org.apache.http.impl.execchain.MainClientExec.execute(MainClientExec.java:173)
	at org.apache.http.impl.execchain.ProtocolExec.execute(ProtocolExec.java:195)
	at org.apache.http.impl.execchain.RetryExec.execute(RetryExec.java:86)
	at org.apache.http.impl.execchain.RedirectExec.execute(RedirectExec.java:108)
	at org.apache.http.impl.client.InternalHttpClient.doExecute(InternalHttpClient.java:184)
	at org.apache.http.impl.client.CloseableHttpClient.execute(CloseableHttpClient.java:82)
	at org.apache.http.impl.client.CloseableHttpClient.execute(CloseableHttpClient.java:106)
	at me.chanjar.weixin.common.util.http.SimpleGetRequestExecutor.execute(SimpleGetRequestExecutor.java:36)
	at me.chanjar.weixin.common.util.http.SimpleGetRequestExecutor.execute(SimpleGetRequestExecutor.java:20)
	at com.jd.ql.cun.web.wx4jsdk.JdWxTestSupportMpServiceImpl.oauth2getAccessTokenExtension(JdWxTestSupportMpServiceImpl.java:91)
	at com.jd.ql.cun.web.controller.WeixinSecurityController.getOpenId(WeixinSecurityController.java:111)


问题分析及解决


BLOCKED状态线程

根据线程中的信息找打锁住行所在的源代码，继续追踪该行的源代码如下： 
public String getJsapiTicket(boolean forceRefresh) throws WxErrorException {
    if (forceRefresh) {
      wxMpConfigStorage.expireJsapiTicket();
    }
    if (wxMpConfigStorage.isJsapiTicketExpired()) {
      synchronized (globalJsapiTicketRefreshLock) {
        if (wxMpConfigStorage.isJsapiTicketExpired()) {
          String url = "https://api.weixin.qq.com/cgi-bin/ticket/getticket?type=jsapi";
          String responseContent = execute(new SimpleGetRequestExecutor(), url, null);
          JsonElement tmpJsonElement = Streams.parse(new JsonReader(new StringReader(responseContent)));
          JsonObject tmpJsonObject = tmpJsonElement.getAsJsonObject();
          String jsapiTicket = tmpJsonObject.get("ticket").getAsString();
          int expiresInSeconds = tmpJsonObject.get("expires_in").getAsInt();
          wxMpConfigStorage.updateJsapiTicket(jsapiTicket, expiresInSeconds);
        }
      }
    }
    return wxMpConfigStorage.getJsapiTicket();
  }

在代码“synchronized (globalJsapiTicketRefreshLock) {“处使用了synchronized 同步锁，对全局共享对象globalJsapiTicketRefreshLock进行了加锁操作，主要是防止多个线程同时对jsapiTicket进行更新操作。

既然大量的线程阻塞在该处，那说明有的线程在执行同步块中的代码非常慢，而其它的线程都在等待该线程释放锁，因此越来越多的线程都阻塞该处。问题就出在该代码处。继续分析该处代码发现了一个比较严重的坑，描述如下：


  • 在微信中调用api都需要accessToken，调用jsapi需要jsApiTicket。详见http://mp.weixin.qq.com/wiki/2/88b2bf1265a707c031e51f26ca5e6512.html
  • accessToken的机制是每个7200毫秒会过期，并且若重新获取则上次获取的会过期。
  • 本系统是在10个tomcat实例的集群环境下面。
  • 本系统中的accessToken是存储在内存中的，多个tomcat集群的值无法共享。
  • 多个tomcat集群都会经常获取，因此导致accessToken经常过期。
  • 获取accessToken接口的调用次数有限制，每日2000次。
  • 若达到接口获取上线，则无法获取accessToken，导致获取accessToken始终失败。
  • 代码块中有失败重试默认3次的机制，而且每次冲时候会暂停线程1秒，且暂停时间每次增加一倍。
  • 因此会某个线程会在该处执行时间非常长，导致锁长期被占用，其它线程阻塞时间较长。


解决方案

重新实现accessToken和jsApiTicket存储方案，将其存储在共享的redis服务上。

修改上线后，BLOCKED线程消失了，但是依旧有很多WAITING状态的线程，因此继续分析该状态的代码。

WAITING状态线程

分析线程栈中的代码”at org.apache.http.pool.PoolEntryFuture.await(PoolEntryFuture.java:133)”经过查看源码发现是因为调用微信api使用了java的组件httpclient，如本文中项目使用的是httpclient4.3.5。

而httpclient为了复用http连接，使用了连接池技术，该处的等待线程就是在等待从连接池中获得连接，那有可能是连接池中连接不够，或者某些线程占用连接时间过长导致的。因此继续查看代码和查找相关httpClient连接配置文档得出如下结论：

httpclient连接配置全部为默认

本项目中的httpclient的连接配置全部使用默认配置。使用HttpClients.createDefault();创建默认的httpclient对象，全部使用默认值。

httpclient连接的配置，参考了张开涛的博客：http://jinnianshilongnian.iteye.com/blog/2089792

连接池配置不合理

maxConnTotal和maxConnPerRoute

maxConnTotal是连接池总的最大连接数，用的是默认值20.

maxConnPerRoute是每个路由最大连接数，本项目都是连接微信服务器，因此就是默认为2的值，而这对于生产环境并发较高确实不合适。

http网络连接配置不合理

httpclient的请求配置都没有配置，使用默认配置信息。
this.connectionRequestTimeout = -1;
this.connectTimeout = -1;
this.socketTimeout = -1;

都是使用的系统默认时间值，而这个值是一个比较大的值，对于生产环境来说是不合适的。

因此这些值对于生产环境来说均为不合理的值，因此我根据自己的生产环境的实际情况配置如下： 

weixin.mp.httpclient.socketTimeout=2000
weixin.mp.httpclient.connectTimeout=2000
weixin.mp.httpclient.connectionRequestTimeout=500
weixin.mp.httpclient.maxConnPerRoute=300
weixin.mp.httpclient.maxConnTotal=300
微信调用接口统计

平均耗时都要300毫秒。

总结

  • 默认配置值一定不是最优的，有时候在正好碰到恶劣环境下反而是致命的问题。
  • 微信接口的性能比较差，尤其是当服务器与微信api的网络通讯较差的时候，会是较大的问题。
  • 微信的accessToken和jspApiTicket在集群环境下一定要共享存储。
  • 涉及到网络通讯的连接超时一定要设置且不能太大。
  • 生产环境解决问题需要有尽量多的日志、监控、各种资源的使用情况的信息。









转载于:https://my.oschina.net/ywbrj042/blog/542453

weixin_34301132
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Java实现接入微信公众号服务器
BXERP（集成小程序的多商户开源收银系统）。代码托管在CodeChina和GitHub
12-22 2261
在微信公众号开发中，我们需要接入微信服务器，让微信服务器与我们自己的服务器建立安全信道，建立信任。微信服务器向我们的服务器发送请求的时候会携带三个参数timestamp=时间戳&nonce=随机字符串&signature=签名。我们可以通过timestamp和nonce以及token来算出一个signature与传入的签名比较，如果相等则是微信合法请求，否则就不是合法请求。tok...
java版微信公众号开发之：自定义菜单的创建
05-12
微信公众号自定义菜单 使用的时候 替换自己的appid 和appsecret
Java 中获取错误代码_错误代码：99999, 错误信息：无法获取到文件名
weixin_33587161的博客
03-02 5723
简要描述前端提交的语音，后端下载失败，提示无法获取文件名(前端没问题，前端在另一个项目中使用着，但是后端不是用wxjava的)模块版本情况WxJava 模块名: weixin-java-mpWxJava 版本号:3.9.0错误定位Caused by: me.chanjar.weixin.common.error.WxErrorException: 错误代码：99999, 错误信息：无法获取到文件名...
Java建完报错,公众号创建菜单报错了 · Issue #1322 · Wechat-Group/WxJava · GitHub
weixin_39981624的博客
03-22 302
java.lang.NoSuchMethodError: me.chanjar.weixin.common.util.http.RequestExecutor.execute(Ljava/lang/String;Ljava/lang/Object;)Ljava/lang/Object;at me.chanjar.weixin.mp.api.impl.BaseWxMpServiceImpl.exec...
JAVA对返回的xml文件解析_java解析微信返回xml数据流报错
weixin_34571341的博客
02-26 281
家只要在下面讲解的三个步骤中做好工作，就可以迅速的将公众号粉丝导入小程序，做到从内容到交易都做到无缝衔接。第一步：发送关联通知当小程序与公众号绑定时，系统允许公众号向粉丝发送条绑定通知，引导粉丝关注并体验这个小程序。由于这条通知不占用公众号的群发的数量，并且可以“解除绑定-重新关联”，因此可以多次发出小程序关联通知。第二步：设置自定义菜单小程序也可以设置为公众号的自定义菜单。具体操作步骤是先将公众...
Java开发微信公众号接收和被动回复普通消息
09-02
主要介绍了Java开发微信公众号接收和被动回复普通消息的相关资料,需要的朋友可以参考下
Java实现微信公众号获取临时二维码功能示例
08-25
主要介绍了Java实现微信公众号获取临时二维码功能,结合实例形式分析了java调用微信公众号接口实现临时二维码生成功能相关操作技巧,需要的朋友可以参考下
java实现微信公众号发送模版消息
08-27
以订单推送为例，主要为大家详细介绍了java实现微信公众号发送模版消息，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
java 抓取微信公众号文章
01-16
java抓取微信公众号最近10篇文章，基于微信搜狗搜索实现。java源码.git 仓库 http://git.oschina.net/hcxy/WechatSpider
java实现微信公众号模版消息推送
06-08
java二次开发接微信公众号接口，实现根据用户授权，获取用户code，再获取openid，然后向其推送模版消息
java开发微信公众号源码-wechat:java微信公众号开发
05-19
java 开发微信公众号源码 wechat java微信公众号开发源码
基于wx-tools开发微信公众号服务端1
08-04
2、ngrok 内网穿透，域名映射 3、核心代码 1、填写服务器的配置 2、验证服务器地址的有效性 3、根据接口文档实现业务逻辑 4、功能实现流程 5、其他说明
Java版微信公众号支付开发全过程
08-27
主要介绍了Java版微信公众号支付开发全过程，本文通过实例相结合给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
java实现微信企业号和公众号服务端调用方法封装源码
04-26
2、微信公众号服务端调用方法java源码实现 2.1 在回调模式下验证服务器接口地址 2.2 检验消息的真实性，并且获取解密后的明文. 2.3 将公众平台回复用户的消息加密打包. 2.4 获取AccessToken 2.5 获取网页授权access_...
Java进行公众号开发的常见使用场景及解决方案
最新发布
SongZhengxing_的博客
06-04 640
本文总结了本人在开发过程中遇到的有关于微信开发的诸多常见功能，这些问题在网上找都是零散的回答，所以再此总结一下，方便后续开发。如果有错误之处，还望批评指出，下面我们开始吧。
Java对接微信公众平台详解
靖节先生的博客
10-28 6667
Java对接微信公众平台详解1.公众平台概述1.1 公众平台概述1.2 入门指引2.对接流程2.1 接入概述2.2 填写服务器配置2.3 接口域名说明2.4 获取Access token3.项目实现3.1 创建项目3.2 项目依赖3.3 项目配置3.4 加解密工具3.5 代码实现4.测试验证 1.公众平台概述 1.1 公众平台概述 微信公众平台是运营者通过公众号为微信用户提供资讯和服务的平台，而公众平台开发接口则是提供服务的基础，开发者在公众平台网站中创建公众号、获取接口权限后，实现后台接口对接微信公众号的
记一次获取access_token为空引发的生产问题 -1000
搬砖刘疯狂
03-31 4022
项目开发中微信渠道为了获取用户地理位置（经纬度）需要调用微信JSAPI，在参数的获取过程中需要后端服务器请求获取access_token，在生产上报出了空指针，也就是未获取到access_token，我们看下获取access_token接口说明。 接口调用请求说明 https请求方式:GET https://api.weixin.qq.com/cgi-bin/token?grant_type=client_credential&appid=APPID&secret=APPSECRET.
java中使用jdom生成与解析xml文本——微信公众号服务器接收并返回xml格式字符串的推送数据例子
扶摇的博客
03-14 782
文章目录生成一个简单xml数据格式文本分析java代码格式化xml为字符串解析xml文本直接解析根元素下的xml文本结果根据输入流解析xml文档微信公众号服务器接收并返回xml格式字符串的推送数据例子 以下使用的是jdom包来解析的xml数据，如果你是用的是maven请导入： <!-- org.jdom/jdom ,解析小体量xml--> <dep...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值