![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
alluxio
尤小硕
这个作者很懒,什么都没留下…
展开
-
Java并发-Alluxio Metrics实践
文章目录介绍Alluxio并发测试调试并发测试分析并发知识点总结归纳可重入锁与AQS附录介绍Alluxio中有很多并发性的代码,这些并发性的代码需要经过严整的测试,其中这些测试主要依赖于ScheduledTimer.java、HeartbeatScheduler.java、HeartbeatThread.java。上图中SleepingTimer类主要是用于Alluxio Metrics指标上报,用于控制指标周期性进行统计上报;ScheduledTimer类主要用于验证系统在高并发场景下的正确性原创 2020-09-19 15:45:39 · 393 阅读 · 0 评论 -
Alluxio缓存策略
重新认识一下AlluxioAlluxio是一个基于内存的分布式缓存开源项目Alluxio架构示意图:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1vYsBy87-1598777030069)(quiver-image-url/366F796BD55E15FF0EC884D72AF4E19A.jpg =1446x794)]缓存现状缓存名词解释缓存穿透缓存穿透是指缓存和数据库中都没有的数据,而用户不断发起请求,这时的用户很可能是攻击者,攻击会导致数据库压力过大原创 2020-08-30 16:47:25 · 1465 阅读 · 0 评论 -
Alluxio扩容
拷贝源码工程在正常运行的worker的alluxio父目录,执行如下命令:scp -r alluxio-1.8.1/ [目标机器host]:[目标目录]拷贝完成后,在目标机器上执行如下命令,root用户修改目录权限:ln -sfn alluxio-1.8.1 alluxiochown -R hdfs:hdfs ./alluxio ./alluxio-1.8.1worker初始化初始化worker服务器,在worker服务器上执行:#!/bin/bashmkdir /mnt/ramdis原创 2020-07-05 14:46:35 · 232 阅读 · 0 评论 -
Alluxio打包部署
机器需求其中,master和zk可以共用机器。alluxio源码编译打包本地编译打包工程根目录下的README文件:编译:mvn -T 2C clean install -DskipTests -Dmaven.javadoc.skip -Dfindbugs.skip -Dcheckstyle.skip -Dlicense.skip -Dchecksum.skip -Phadoop-2 -Dhadoop.version=2.6.0-cdh5.14.4打包:./dev/scripts/g原创 2020-07-05 14:45:37 · 865 阅读 · 2 评论 -
Alluxio源码本地调试
首先,请确保调试alluxio源码的环境是一个类Unix的系统环境后台验证启动在${ALLUXIO_HOME}目录下进行操作在后台启动alluxio: $ ./bin/alluxio-start.sh local SudoMount1.8.1-server启动后,后台运行四个进程($ jps 命令可以查看到当前后台运行的进程): AlluxioWorker AlluxioProxy AlluxioMaster AlluxioSecondaryMaster.原创 2020-07-05 14:43:29 · 745 阅读 · 0 评论 -
Alluxio源码编译+导入IDEA
前提条件确保你安装了Java(JDK 8或更高版本)以及Maven3.3.9及以上,在源码编译之前需要了解到本项目是开源项目,即github提供了官方源码。Alluxio官方文档【快速入门】:https://docs.alluxio.io/os/user/stable/en/Getting-Started.html克隆github源码…设置Alluxio配置文件在${ALLUXIO_HOME}目录下,配置alluxio-site.properties文件:#通过拷贝conf/alluxio-s原创 2020-07-05 14:36:23 · 710 阅读 · 0 评论 -
alluxio文件读取交互
文章目录总流程Client - MasterClient - Worker情况一:本地命中 - LocalFilePacketReader读取流程client端worker端情况二:非本地命中的其他读取行为(Netty远程数据传输)client端worker端Worker - Master非本地读取完成后的同步行为总流程Client - MasterClient - Worker情况一:本...原创 2020-03-07 17:15:52 · 1616 阅读 · 0 评论