Bazel Remote Cache 缓存问题

最新推荐文章于 2024-08-25 07:21:54 发布
最新推荐文章于 2024-08-25 07:21:54 发布
阅读量2.1k 收藏 1
点赞数
分类专栏： 后端 Spring Boot 后端开发 文章标签： 缓存 服务器 java bazel
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guijiaoba/article/details/122863288
版权
本文介绍了在使用Bazel Remote Cache时遇到的连接异常问题，包括连接重置、断开、超时和DNS解析问题。通过调整连接、优化CPU使用和利用本地缓存降低请求量来解决问题。特别是，通过本地启动缓存服务作为SideCar，减少网络请求并控制下载线程数，有效解决了netty异常。最后，文章提到了使用Go语言实现的Unix Domain Socket代理，进一步优化了性能。
摘要由CSDN通过智能技术生成

Bazel Remote Cache 缓存问题

简介

公司 iOS 项目使用 bazel 使用编译，同时 bazel 支持远程缓存。 使用远程缓存，可以加速编译速度，节省编译时间。

缓存服务器很简单，支持 GET、 PUT 操作，分别为获取和上传，官网有说明 Bazel Remote Cache。

build --remote_cache=http://mycache.com

但是在 CI 服务器上，偶尔会出现连接出现异常问题，如连接重置、断开、超时、dns无法解析等。大概有5%的概率。分析 bazel 源码，发现 bazel 底层使用 netty 进行http通信。远程服务器日志也没有发现问题。
和常规解决思路不一样，bazel 运行的时候无法进行抓包，因为是概率性的，并且 CI 机器有多台，无法统一进行排查。

解决

从错误信息来看，可能是因为 CPU 使用率过高，导致影响网络请求，出现连接超时、断开、重置、dns无法解析等。

调优连接

# 降低连接数，默认为
最低0.47元/天 解锁文章
流水不腐小夏
关注
专栏目录
bazel远程缓存(Remote Cache)
m0_74043383的博客
09-02 1660
您可以将服务器设置为构建输出（即这些操作输出）的远程缓存。这些输出由输出文件名列表及其内容的哈希值组成。借助远程缓存，您可以重复使用其他用户的 build 中的构建输出，而不是在本地构建每个新输出。增量构建极大的提升了本地研发的构建效率，但有些场合它的效果不是很好，例如 CI 环境通常采用“干净”的容器，此时没有上一次的构建数据，只能全量构建。即使是本地研发，如果从远端同步代码时修改了全局参数，也会导致增量构建失效。
启用Bazel的远端缓存，加速团队协作效能
chijiu4353的博客
11-22 985
背景 多人协同的项目，大家各自开心地在在自己的本地进行编译、调试。 这样就存相同的编译，在不同人的电脑上重复执行。浪费计算资源不说，更重要造成了不必要的等待。 如果是在本机编译，编译过程CPU耗尽、机器肯定卡，较大的项目编译时可能需要暂停工作、端杯咖啡漫长等待。 项目越大、人越多，浪费的时间会...
Bazel Remote Caching
PeriodTang的专栏
05-09 2563
远程缓存远程缓存，用于开发组内部或持续集成(CI )系统内，进行构建输出的共享。如果你的构建是需要反复执行的，一台机器的输出能够被另外一台机器安全的重用，那么这将会使构建速度显著的提升。内容远程缓存内容远程缓存概述构建如何使用远程缓存搭建服务器作为后端缓存nginxBazel Remote CacheGoogle Cloud StorageOther Servers鉴权HTTP远程缓存协议使用远程...
探索高效构建：bazel-remote 缓存服务器
最新发布
gitblog_00426的博客
08-25 906
探索高效构建：bazel-remote 缓存服务器 bazel-remoteA remote cache for Bazel项目地址:https://gitcode.com/gh_mirrors/ba/bazel-remote 在现代软件开发中，构建系统的效率直接影响着开发者的生产力。bazel-remote 是一个专为 Bazel 和其他 REAPI 客户端设计的远程构建缓存服务器，它通过提供...
Bazel build Remote-caching
江天飞鸟的博客
10-24 590
Bazel build Remote-caching
bazel_remote_cache 结合nginx一致性哈希实现分布式高命中缓存服务器 完整配置版本下载后可直接启动使用
09-27
bazel项目中，通过使用远程缓存bazel_remote_cache 服务，进行编译加速。 受限于单服务的访问和读写能力受限，进行优化升级。 通过使用nginx uri一致性哈希，将请求分发到10台缓存服务器上，总容量提升10倍，经过...
Bazel Remote Caching实践
PeriodTang的专栏
05-09 2810
整体方案远程缓存，用于开发组内部或持续集成(CI )系统内，进行构建输出的共享。如果你的构建是需要反复执行的，一台机器的输出能够被另外一台机器安全的重用，那么这将会使构建速度显著的提升。参照Bazel Remote Caching，现在有很多种后端解决方案，都可以被用来作为远程缓存。有如下选项：nginxBazel Remote CacheGoogle Cloud Storage本篇为Bazel ...
bazel远程构建(Remote Execution)
m0_74043383的博客
09-02 544
既然 ActionResult 可以被不同的 Bazel 任务共享，说明 ActionResult 和 Action 在哪里执行并没有关系。因此，Bazel 在构建时，可以把 Action 发送给另一台服务器执行，对方执行完，向 CAS 上传 ActionResult，然后本地再下载。这种做法减少了本地执行 Action 的开销，使得我们设置更高的构建并发度。
Jquery验证remote缓存问题解决
总要有一个梦想或大或小
11-12 428
在使用jquery验证--remote远程验证的过程中，出现了缓存问题，即在验证时会判断之前有没有验证过，当有验证过并有previousValue值时它就会忽略再次提交的值而是取上一次验证结果显示 此时可使用  $("#gradeId").removeData("previousValue"); 清除之前的缓存，这样就可以愉快的进行验证了...
bazel使用中存在的问题
m0_74043383的博客
09-02 527
4、提取kernel中的bazel命令，本地重复编译两次，第二次可以全部命中本地缓存，秒级构建。但清理本地缓存，只使用远端缓存，本地重复编译两次，第二次无法全部远端缓存。3、$HOME/.bazelrc中指定分析日志保存文件用于分析。但由于无法指定相对路径，同一工程中全部bazel分析结果都保存在kernel根路径下，造成覆盖。1、Action 详情二进制文件解析为文本文件时报错，无法进一步比较分析导致缓存不命中的原因。2、远端缓存全部命中时间收益不明显 ---需分析是否为网络原因。
bazel.zip
09-24
bazel.zip,a fast, scalable, multi-language and extensible build system
bazel超时
Nightmare_ak的博客
10-07 1226
https://github.com/bazelbuild/bazel/issues/587#issuecomment-412531604 https://xbuba.com/questions/52311486
编译加速 remote cache
weixin_30832983的博客
03-29 372
remote cache大致原理就是根据编译输入的sha码与编译输出建立（key,value）对，存储在远端cache．编译过程如果能匹配到key，则获取GET到value.如果hit不到key，则客户端在本地编译，并控制是否更新远端缓存库．https://github.com/buchgr/bazel-remote/(https://golang.org/pkg/net/http/) K...
Bazel 安装及遇到的问题
热门推荐
luoyi131420的博客
11-20 2万+
bazel支持的平台有Ubuntu Linux、Mac OS X、Windows等，本文基于Ubuntu14.04下的bazel，其它平台的安装参考官网安装教程。 Bazel安装 1.先安装Bazel的依赖 sudo add-apt-repository ppa:webupd8team/java sudo apt-get install openjdk-8-jdk open
解决brazel中github仓库无法下载的问题
qq_47564006的博客
10-01 314
解决bazel编译时国内github下载问题
如何快速下载bazel安装包
cloud 的学习时代
12-16 1817
如何快速下载bazel安装包软件方法 软件 迅雷 方法 1、找到github官网bazel相应版本的页面，选择需要下载的文件，右键复制下载地址 2、到迅雷里面粘贴下载 3、如果网速下降到0左右 暂停下载后重新恢复即可 ...
bazel踩坑
hellozmz的博客
05-13 5247
general rules：filegroup ,genquery ,test_suite ,alias ,config_setting ,genrule genrule可以使用shell命令来执行操作。 该函数的定义中，可以调控的参数有 genrule(name,srcs,outs,cmd,compatible_with,deprecation,distribs,...
springboot整合jetcache远程缓存步骤
06-03
好的，下面是整合JetCache远程缓存的步骤： 1. 在pom.xml文件中添加jetcache-spring-boot-starter的依赖，如下所示： ```xml <dependency> <groupId>com.alicp.jetcache</groupId> <artifactId>jetcache-spring-boot-starter</artifactId> <version>${jetcache.version}</version> </dependency> ``` 2. 在application.yml或application.properties中配置JetCache的相关参数，例如： ```yaml jetcache: area: default: # 配置缓存类型为远程缓存 cacheType: REMOTE # 配置远程缓存地址 remote: # Redis地址和端口号 url: redis://127.0.0.1:6379 # Redis密码 password: # Redis数据库 database: 0 # Redis连接池最大连接数 maxTotal: 100 # Redis连接池最大空闲连接数 maxIdle: 20 # Redis连接池最小空闲连接数 minIdle: 5 ``` 3. 在需要使用缓存的方法上添加@Cached注解，例如： ```java @Service public class UserServiceImpl implements UserService { @Autowired private UserDao userDao; @Override @Cached(name = "user_", key = "#id", expire = 3600) public User getUserById(Long id) { return userDao.getUserById(id); } } ``` 以上就是整合JetCache远程缓存的步骤，希望能对你有所帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值