python3.x 搭建thrift服务器异常问题

解决thrift0.9.3与python的兼容问题


  • 闲聊

Thrift官方提供的python库,对Python2.7支持很好,虽然Python3.x以上也可以安装,而且程序编写也没什么问题,但一旦和其他语言的服务端或者客户端联调时,就会出现各种各样莫名其妙的异常错误(同样代码,Python2.7没有问题),导致工作没法进行下去,耽误了不少时间。

  • 方案一

在网上查了不少资料,发现相关信息很少,通过整理总结,这些问题主要还是Python3.x相对Python2.7没有做到语法兼容造成的,想解决,必须修改Thrift库的源码!
主要集中在两块:

  • 原因
    1. Python3.x对Unicode的支持和新增的byte字节类
    2. Python3.x取消UnboundMethodType类型
  • 针对以上两点解决方案
    1. transport/TTransport.py文件
      第20行:from io import StringIO 改成 from io import BytesIO as StringIO
      第56行: buff =” 改成 buff=b”
      第143行:self.__rbuf = StringIO(“”) 改成 self.__rbuf = StringIO(b”“)
      2.protocol/TBinaryProtocol.py文件
      第122-123行:
      self.writeI32(len(str))
      self.trans.write(str)
      改成
      buff = bytes(str,’utf-8’)
      self.writeI32(len(buff))
      self.trans.write(buff)
      第223行:str = self.trans.readAll(len)
      改成
      len = self.readI32()
      str = self.trans.readAll(len).decode(‘utf-8’)
      3.protocol\TProtocolDecorator.py文件
      第31行:
      if type(member) in [MethodType, UnboundMethod, TypeFunctionType, LambdaType, BuiltinFunctionType, BuiltinMethodType]:
      改成(去掉UnboundMethod类型,该类型等同MethodType,且在Python3.x中已经废除)
      if type(member) in [MethodType, TypeFunctionType, LambdaType, BuiltinFunctionType, BuiltinMethodType]:

  • 方案二

既然python2.7非常稳定的兼容thrift,那就换成2.7版本。
python2.7和python3.5安装在同一太机器上,这篇博主写的很详细

org.apache.thrift.transport.TTransportException是一个异常,它表示在使用Apache Thrift传输时发生了问题。这个异常通常是由于网络连接问题引起的。在引用和引用中,都提到了这个异常。其中,引用中的错误信息显示了一个SocketTimeoutException,这意味着在读取数据时发生了超时。而引用中的错误信息显示了一个GSS initiate failed异常,这可能是由于在与Kerberos进行身份验证时出现了问题导致的。 在处理这个异常时,可能还会遇到其他异常被抑制的情况。在引用中,提到了一个被抑制的SQLException异常,它发生在清理服务器资源时出错。 要解决org.apache.thrift.transport.TTransportException异常,可以考虑以下几个步骤: 1. 检查网络连接是否正常。确保网络连接稳定,并且没有任何阻塞或超时问题。 2. 检查Kerberos配置是否正确。确保在与Hive进行连接时,Kerberos身份验证过程能够正常进行。 3. 检查服务器资源清理过程是否出错。如果在关闭Hive连接时出现异常,可能需要检查关闭过程中是否有任何资源未正确释放。 以上是解决org.apache.thrift.transport.TTransportException异常的一些建议。具体的解决方法可能还需要根据具体情况进行调查和调试。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [线上问题排查系列-org.apache.thrift.transport.TTransportException:java.net.SocketTimeoutExceptio](https://blog.csdn.net/MichaelLi916/article/details/119458931)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [org.apache.thrift.transport.TTransportException: GSS initiate failed](https://blog.csdn.net/m0_37759590/article/details/131488324)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值