thrift开发踩坑全纪录

最新推荐文章于 2022-09-01 22:59:39 发布
最新推荐文章于 2022-09-01 22:59:39 发布
阅读量6.7k 收藏 4
点赞数 3
分类专栏： C++开发 文章标签： thrift
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bestwolf1983/article/details/52074914
版权
本文记录了在使用Thrift开发C++系统过程中遇到的挑战，包括PHP文件覆盖问题、TBufferedTransport异常、协议匹配问题、超时与断开连接异常，以及线程安全和阻塞操作的注意事项。通过分享这些问题及其解决方法，帮助开发者避免类似陷阱。
摘要由CSDN通过智能技术生成

使用thrift搭建的系统已经稳定运行了一段时间了，该系统是公司的核心流式系统，高峰时QPS在40万。作为目前最流行的RPC框架，thrift不仅提供了通信协议，同时提供了网络框架，解脱了程序员的生产力。thrift也是阿帕奇Hadoop系列的RPC实现工具。本文主要聚焦在搭建C++实现的thrift系统中，遇到的各种问题。

但是thrift在隐藏一些底层细节的同时，也给应用层带来了一些不确定性，这些不确定和误解，导致一些异常事件的发生。总结如下：

  1. thrift compile在生成文件的时候，生成PHP文件时，同一命名空间下，不同的thrift文件生成Types.php，会导致文件覆盖（cpp和Python没有此问题）
  2. 服务端在采用TBufferedTransport时，该对象实际会自己缓存read/write buffer，当catch到异常时，仅仅close对应的socket，buffer并不会
最低0.47元/天 解锁文章
bestwolf1983
关注
专栏目录
thrift javascript example
02-01
使用javascript调用thrift进行通信，可以让你了解thrift的完整使用流程。
Thrift常见问题
NanguoCoffee的博客
08-23 223
Thrift文件编译常见问题： 1：注释/** */注释符必须和注释内容用空格隔开，比如/** abcasdfasdf */是对的， /**abcasdfasdf*/则是错的。 2 :  使用Java的NIO实现的client和server，使用telnet的方式访问server时，会使用server宕掉。      目前要防止发送随机数导致server，只能用传统的Socket方式：   ...
thrift 小坑
weixin_30869099的博客
06-12 119
1）TSimpleServer server(processor, serverTransport, transportFactory, protocolFactory); 同时只有一个请求可以访问。 并非会失败 2）TThreadedServer server(processor, serverTransport, transportFactory, protocolFact...
Thrift设置超时等信息（Java）
muyuxuebao的博客
08-08 8716
socket.setConnectTimeout(thriftMaxOpenMillisecond);  // 设置连接的超时时间             socket.setSocketTimeout(thriftMaxProcessMillisecond);  // 设置存取数据的超时时间
Thrift新手遇到的坑
每天进步一点点儿
09-14 1181
1、数据类型(常用的数据类型加粗表示) 基本类型没有包括所有的语言类型，主要是所有语言的关键类型。 bool：布尔类型(true或者false) byte：字节类型 i8：8位有符号整型 i16：16位有符号整型 i32：32位有符号整型 i64：64位有符号整型 double：64位浮点类型 binary：字节数组类型 string：字符串类型 Structs - 结构体 Thrift struct 类似于C的struct，是一系列相关数据的封装，在OOP语言中会转换为类(cl.
[心得] Thrift协议以及相关压测经验踩坑总结
cmrsautomation的博客
11-26 2853
基于HTTP的协议在互联网甚为流行。然后当传输效率更重要时，PB，Thrift协议以及Facebook2015年开源的超高速数据传输工具（Warp speed Data Transfer，WDT）。这里对thrift协议做一下踩坑介绍。 目前流行的服务调用方式有很多种， 例如基于 SOAP 消息格式的 Web Service， 基于 JSON 消息格式的 RESTful 服务等。其中所用到的数
thrift数据类型不同引起的传输问题
xiaoshe的专栏
08-29 5574
下面都是实验通过的。 （1）
Thrift常见报错问题以及定位方式总结
yolo_yyh的博客
07-21 4720
Aache Thrift最常见的报错信息为： 问题定位：No more data to read. 问题定位：Connection refused. 问题定位：No route to host. 问题定位：Called write on non-open socket. 问题定位：Thrfit_EAGAIN (timed out). 问题定位：Thrfit_EAGAIN (unavailable resources). 问题定位：socket open() error：没有到主机的路由
thrift常见异常及原因分析（<i>updating...</i>）
weixin_30443075的博客
12-26 4257
【org.apache.thrift.TException家族】 【Thrift架构】 以下是thrift的客户端和服务端交互的一个原理图。可以看到遵循了rpc框架的传输层、协议层和应用层三层。本文提到的异常就是与这三层相对应的传输异常TTransportException（ConnectException、SocketTimeoutException）、协议异常TProtocolEx...
使用thrift，每隔一段时间就会报错：java.lang.OutOfMemoryError: Direct buffer memory
java_zjn的博客
06-15 684
背景：使用thrif（版本0.9.3）对外提供服务，每隔一段时间thrif服务就挂掉。 问题定位过程： 1、查看日志，发现存在java.lang.OutOfMemoryError: Direct buffer memory异常，因为thrif用到nio，发现启动服务没有配置直接内存，想当然认为是直接内存过小，于是在jvm启动参数加大了直接内存的最大值（-XX:MaxDirectMemorySize），后续观察。过了一段时间，问题还是复现了。 2、再查日志还是报直接内存溢出，然后再仔细查看日志，发现直接
Thrift开发环境配置1
08-08
Thrift 是一个开源的跨语言服务开发框架，它允许开发者定义数据类型和服务接口，然后自动生成多种编程语言的代码，简化客户端和服务器之间的通信。在本文中，我们将详细讨论如何在Visual Studio环境下配置Thrift的...
Laravel开发-thrift-laravel
08-28
【Laravel开发与Thrift-Laravel整合】 在现代Web应用开发中，Laravel作为一个流行的PHP框架，因其优雅的语法和强大的功能而备受开发者喜爱。Thrift则是一个跨语言的服务框架，由Facebook开源，用于实现高性能、可...
Thrift开发所需jar
03-26
Thrift是一种开源的跨语言服务开发框架，由Facebook于2007年开源，现在由Apache基金会维护。它提供了一种简单定义数据类型和服务的方法，然后自动生成在各种语言中的客户端和服务器端代码，便于实现分布式系统间的...
thrift开发入门java程序
12-26
Thrift作为可伸缩的跨语言服务开发框架，网上的资源较少，这里是一个简单的入门小程序，文件中的mylib下包含了依赖的jar包，并且在file目录下放了一个简单的thrift文件和生成thrift-0.9.0.exe工具，直接使用 thrift-...
应用重启首次登录很久报 No more data to read from Creation of SecureRandom instance for session ID generation
cdsn123jian的专栏
09-21 632
访问慢导致报 No more data to read from socket error， 报这个错仔细观察日志前面会有Creation of SecureRandom instance for session ID generation using [SHA1PRNG]  这个创建花费很多时间，以下是转载的 通常情况下，tomcat启动只要7-8秒钟，突然有一天，tomcat启动非常慢，要花...
thrift一个例子
热门推荐
xiaoshe的专栏
06-21 3万+
我用的是c++，所以我举一个c++的例子，简单说一下thrift的使用入门。例子描述是这样的：我们将学生信息（学号，姓名，性别，年龄）由客户端发送到服务端。实现这个例子，我们大致要做以下几部分事情：（1）书写.thrift文件（2）生成cpp文件（3）编写客户端（4）编译cpp文件并执行 （1）书写.thrift文件学生信息是有结构的，所以我们使用thrift的
thrift无法判断连接失效的原因与解决方案
人生如逆旅，我亦是行人。。。
01-18 5888
公司的软件系统使用thrift来进行系统内部各服务的沟通调用。thrift客户端采用了连接池的方式减少连接频繁创建销毁产生的开销。连接池之前一直存在无法即时判断连接是否有效的问题。今天抽空看了下thrift的源码，分析出原因如下：     我们在程序中判断连接是否有效时，调用的是TTransport类的isOpen()函数        一路调试跟踪查看TTransport的isOp
JS通过Thrift调用Python服务端过程（HTTP协议实现）
qq_43669047的博客
09-01 528
js通过thrift调用python服务
thrift端口未被占用连接不上_Thrift第四课 连接中断异常处理
weixin_36394468的博客
12-23 383
场景Thrift框架采用了异常处理机制，当客户端异常断开连接，服务端这个时候尝试发送数据给客户端，Thrift库会抛出异常，导致进程中断。这种情况是非常正常的，服务器端应该捕获异常的发生，但是不应该异常退出。在用户调用的线程进行异常捕获，这样子不需要修改代码catch (const TTransportException& ttx){//Thrift框架抛出的所有异常都会直接返回std::...
java thrift 开发_java thrift开发姿势
最新发布
06-08
Java thrift开发通常需要以下步骤： 1. 安装thrift编译器：Thrift编译器可用于将thrift文件编译成Java源代码。 2. 编写thrift文件：thrift文件定义了数据类型和服务接口。可以使用thrift IDL语言编写thrift文件。 3. 编译thrift文件：使用thrift编译器将thrift文件编译成Java源代码。 4. 实现服务端：实现thrift生成的服务接口和处理程序。 5. 实现客户端：使用thrift生成的客户端代码调用服务。 下面是一个简单的Java thrift开发示例： 1. 编写thrift文件，定义一个服务接口和一个相关的数据类型： ``` namespace java com.example struct Person { 1: required string name 2: optional i32 age } service PersonService { void addPerson(1: Person person) Person getPerson(1: string name) } ``` 2. 使用thrift编译器将thrift文件编译成Java源代码： ``` thrift --gen java person.thrift ``` 3. 实现服务端： ``` public class PersonServiceImpl implements PersonService.Iface { @Override public void addPerson(Person person) throws TException { // 实现添加人员的逻辑 } @Override public Person getPerson(String name) throws TException { // 实现获取人员信息的逻辑 } } ``` 4. 实现客户端： ``` public class PersonServiceClient { public static void main(String[] args) throws TException { TTransport transport = new TSocket("localhost", 9090); transport.open(); TProtocol protocol = new TBinaryProtocol(transport); PersonService.Client client = new PersonService.Client(protocol); Person person = new Person(); person.setName("张三"); person.setAge(20); client.addPerson(person); Person result = client.getPerson("张三"); System.out.println(result.getName() + " " + result.getAge()); transport.close(); } } ``` 以上就是一个简单的Java thrift开发示例。当然，在实际开发中可能会涉及到更复杂的数据类型和服务接口，需要更多的代码和实现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值