- 博客(23)
- 收藏
- 关注
RSS订阅原创 CloST: A Hadoop-based Storage System for Big Spatio-Temporal Data Analytics 简单翻译和思考
改进HDFS 适应时空数据
2024-07-09 15:35:35
980
原创 Hilbert编码 思路和scala 代码
需求：使用Hilbert 曲线对遥感影像瓦片数据进行编码，获取某个区域的编码值即可Hilbert 曲线编码方式。
2024-07-05 21:42:03
767
原创 SplitDB: Closing the Performance Gap for LSM-Tree-Based Key-Value Stores 简单翻译和思考
日志结构化合并树 (LSM 树) 是现代键值存储的核心数据存储引擎。随着云计算和数据中心的发展，它的采用速度迅速加快。尽管 LSM 树得到了广泛的应用，但它仍然面临严重的性能问题，例如写入停顿、写入放大和读取效率低下。本文介绍了使用新兴的非易失性存储器 (NVM) 技术提高基于 LSM 树的键值存储性能的研究。我们的性能诊断表明，上述问题主要来自密集的热键值数据处理，而慢速存储设备又加剧了这一问题。
2024-07-05 11:36:48
844
原创 Enhancing LSM-tree Key-Value Stores for Read-Modify-Writes via Key-Delta Separation 简单翻译和思考
key-delta 设计
2024-07-04 16:25:33
575
原创 比特币和区块链详解: Bitcoin: A Peer-to-Peer Electronic Cash System白皮书
由于比特币对交易双方隐私的保护，以及比特币价值不断增长，越来越多不法分子通过Bitcoin这个分布式账本完成非法交易。同时，由于激励机制与实际财富绑定，滋生了大量的矿工，为了分一杯羹，甚至一些电脑制造业和显卡厂商下场参与比特币的获取。不得不承认，有些人通过比特币实现了财富扩张，但也有很多跟风者做了韭菜。投资不代表投机，抛开滋生的灰色产业不谈，比特币所产生的影响是划时代的，他真正将分布式系统知识融入进了金融领域，对传统货币体系造成了冲击。社会上很大一部分价值的本质最终还是来源于知识。
2024-03-28 15:18:40
2386
原创 MIT 6.824 Lecture 18 Fork Consistency & CT & Merkle Tree的应用
本章讲述了在公共网络中，如何构建一个所有人都可校验之前用户行为（交易、执行）的方法。准备文档中介绍了当今业内维护该方法（Certificate Transparency）的几家企业。介绍了当今企业维护证书授权所使用的数据结构：Merkle Tree。
2024-03-12 17:14:23
912
原创 论文解读：Don’t Settle for Eventual: Scalable Causal Consistency for Wide-Area Storage with COPS
COPS: 第一个实现Causal + 一致性的可扩展系统
2024-03-05 10:14:50
889
原创 FaRM：微软使用RDMA配合乐观并发锁实现的分布式事务系统
他们都实现了复制和两阶段提交Spanner主要关注于跨地理位置的数据事务安排，建立副本，方便访问，解决了二阶段提交上的时间问题等等FaRM是一种原型，当时并没有落地容错能力范围：针对单个服务器的崩溃，当整个数据中心故障后，如何恢复数据特点：使用RDMA技术，但也因为该技术限制了某些控制、鉴权系统的使用，因此，FaRM强制使用乐观锁并发控制来结合RDMA；所获得的性能比Spanner快很多 ，
2024-01-03 19:04:55
1122
原创 分布式遥感图像处理综述：Distributed Deep Learning for Remote Sensing Data Interpretation
论文链接：https://ieeexplore.ieee.org/document/9378798本文介绍了一些应用于遥感数据图像领域的分布式深度学习算法，强调云服务架构在遥感图像数据管理、计算、服务提供等方面相比于其他并行和分布式架构（集群计算和网格计算）所能提供的便利。本节介绍了遥感大数据的属性和面临的主要挑战，以及该领域对分布式计算、存储的迫切需求。回顾了迄今为止在使用云计算架构（与其他 HPC 解决方案，例如商品集群或网格计算平台相比）进行遥感数据解释方面开发的最重要的举措，特别是 专注于深度学习技
2023-12-19 17:08:40
1242
原创 使用Flink Streaming Query 查询Hudi(出现包冲突以及Hive 3.1.3 编译Hudi 时间戳异常)
关于Hudi 0.13.1 Streaming Query 使用Hive 3.1.3 + Hudi 0.13.1时间戳报错。以及hive-exec guava.jar 冲突
2023-07-05 09:59:22
483
原创 关于Notion导入Typora编辑的markdown文件出现的围栏代码块缩进异常解决办法
关于Notion导入Typora编辑的markdown文件出现的围栏代码块缩进异常解决办法最近使用 Typora编写Markdown文件，用到代码块后，在Typora里面样式是如下：但是在上传到Notion后，围栏式代码块会变成无缩进的样子，Notion样式：大概就是上面这个样子，如果想修正，还得删除掉，再从Markdown文件中copy出来然后测试了一下,需要在Typora的代码块不选择语言格式，导入到Notion中才不会异常缩进，但是需要在Notion中再确定一次语言类型Notion导入不
2022-05-25 10:02:11
2513
2
原创 Centos7 安装 机器学习环境(PIP + Python3.7 + Cython + Jupyter Notebook + Docker + 虚拟机网络环境)
环境：本机win10 + Vmware WorkStation Pro 15 + Centos7背景： 从之前用来学习 Docker的虚拟机克隆过来的镜像，克隆后无法执行ping命令，无法使用pip 命令，虚拟机自带Python2.7重点： Python 3.7 环境配置1. 关于网络无法使用表现： 无法ping通www.baidu.com使用systemctl restart network 重启网卡报错Job for network.service failed bec..
2021-01-10 10:10:55
766
1
原创 github 简单使用
来到自己代码所在位置要一步一步打开子目录在当前项目的目录中生成本地的git管理git init项目上所有的文件添加到仓库中添加单文件用.文件名git add .提交的注释first commit 即为注释内容git commit -m "first commit"登录自己的名字或者邮箱(建议全登录)git config --globa...
2019-12-11 00:21:47
219
1
原创 Matlab如何查看主函数（脚本）中调用的其他函数
原文链接转载_原文链接最近有matlab函数要贴到GitHub上，但是自己代码中加了各种各样的函数和脚本（用来测试LOOCV和五折交叉验证等等），但是又不想一个个看，最后想只调用主函数来看看自己需要哪些函数，找了找博客解决方法打开事件探测器profile on运行主代码（我的脚本为 demo）demo查看并保存结果profile viewerp = p...
2019-12-10 22:58:55
2235
原创 Shell 界面键盘操作
clear 清空节界面history 显示历史消息光标移动Ctrl + a 移动光标到行首Ctrl + e 移动光标到行尾Ctrl + f 光标前移一个字符Ctrl + b 光标后移一个字符Alt + f 光标前移一个字Alt...
2019-08-16 12:49:17
406
原创 第一场网络赛
记人生第一次网络初入acm，感触颇多，近几日身陷字符类问题处理的囹圄，无法自拔。过几日就要去齐工大做星号队参赛，2018 年十一月三日就来了场网络赛。算是迎新赛（虽然榜首几乎全是学长），第一次网络赛也算是开开眼界。。。。话不多说，直接上感悟：还是菜太真实啦。。。+++++++++++++++++++++++++++++++++++++++++++++++++++++++++第一道题目...
2019-08-15 21:55:13
929
原创 Xshell 连接 Ubuntu 18.04（非虚拟机） SSH服务器连接不上的问题
正确处理方法 sudo gedit /etc/ssh/sshd_config把 PermitRootLogin Prohibit-password 改为PermitRootLogin yes删除掉#符号/etc/init.d/ssh restartOk ！！！我想说：@*(#&!@(*#&@!%!@%!@#以下可能全是废话我的Ubunt...
2019-08-15 14:20:56
1286
原创 Tex Studio 的安装问题
这几天为了准备数学建模开始学Latex，结果下午用着好好的，晚上吃完饭就崩了，我透因为没发现恢复出厂设置，而且也没太弄懂LatexLive 和 Texstudio的关系，最后一心烦，就全部卸载了安装过一次CTEX，看着界面不太合适，又全卸载了，重新下载LatexLive 和 Texstudio结果当我下载玩，出现了这样的一幕写了一个简单的测试发现下图的情况，我吐了然后找...
2019-08-14 22:33:20
1038
1
原创 Coursera Machine Learning Week2 Linear Regression with Multiple Variables 测试
在学习Coursera 机器学习的第二周时，发现总是得不到满分，在搜索CSDN中的其他博客时，发现大部分为转载，或者解析不全面，最后决定自己写一篇博客，顺便巩固一下知识点第一题计算 的归一化特征利用归一化公式求得结果第二题由题意可知，梯度下降了15次，下降的很快，说明选择得正合适第三题线性代数基本问题，注意X中每个向量的第一个值为...
2019-07-16 16:28:28
308
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人