笔记
枸杞饭团
这个作者很懒,什么都没留下…
展开
-
解决vscode或pycharm无法连接远程服务器的问题
网上看的一大堆全都没帮助,主要就是两个操作,一是指令:当错误是:The authenticity of host xxx can’t be established.执行ssh -o StrictHostKeyChecking=no xxx 用户名@ip原理:用OpenSSH的人都知ssh会把你每个你访问过计算机的公钥(public key)都记录在~/.ssh/known_hosts。当下次访问相同计算机时,OpenSSH会核对公钥。如果公钥不同,OpenSSH会发出警告,避免你受到DNS H转载 2021-03-04 11:28:44 · 7553 阅读 · 2 评论 -
An Efficient Design and Implementation of LSM-Tree based Key-Value Store on Open-Channel SSD
摘要各种键值(KV)存储被广泛用于数据管理以支持Internet服务,因为它们提供了比关系数据库系统更高的效率,可伸缩性和可用性。基于日志结构的合并树(LSM-tree)的KV存储吸引了越来越多的关注,因为它们可以消除随机写入并保持可接受的读取性能。最近,随着NAND闪存每单位价格的下降,固态磁盘(SSD)已在企业级数据中心中广泛采用,以提供高I / O带宽和低访问延迟。但是,将基于LSM树的KV存储与SSD幼稚地组合起来效率低下,因为无法充分利用SSD内启用的高度并行性。当前基于LSM树的KV存储在设计原创 2020-05-29 12:02:25 · 5059 阅读 · 0 评论 -
LSM-tree
摘要TPC-A基准测试应用程序是一个众所周知的设置示例,已对其进行了修改,以支持对历史记录进行有效查询以查询特定帐户的帐户活动。这需要在快速增长的“历史记录”表上按帐户ID进行索引。不幸的是,基于标准磁盘的索引结构(例如B树)将使事务的I / O成本有效地翻倍,以实时维护这样的索引,从而使总系统成本增加多达50%。显然,需要一种以低成本维持实时索引的方法。日志结构合并树(LSM-tree)是一种基于磁盘的数据结构,旨在为长期记录插入(和删除)率很高的文件提供低成本索引。 LSM树使用一种推迟和分批索引更改原创 2020-05-27 18:44:34 · 555 阅读 · 0 评论 -
Image Captioning with Semantic Attention
摘要自动生成图像的自然语言描述水冲浪者最近引起了人们的兴趣,这不仅是因为冲浪者在实际应用中的重要性,而且因为它连接了两个主要的人工智能领域:计算机视觉和自然语言处理。现有的方法要么是自上而下的,即从图像的要点开始,然后将其转换为单词,要么是自下而上的,即提出描述图像各个方面的单词,然后将它们组合在一起。在本文中,我们提出了一种通过语义注意模型将两种方法结合在一起的新算法。我们的算法学习选择性地注...原创 2020-04-23 13:43:45 · 328 阅读 · 0 评论 -
win10安装openssh
应用和功能->管理可选功能下载服务->属性开启openssl的服务添加系统变量转载 2020-04-21 20:15:57 · 804 阅读 · 0 评论 -
同步图计算:Graph Coloring问题详细解答
终于把这个问题解决了,一直被卡在一个点,想了一天都没想出来,也一直觉得自己的算法是正确的,最后,拿出纸笔,推了一遍算法执行过程,才发现了其中隐藏的大bug,事实证明,千万不能懒,千万不能盲目自信。赶紧写篇博客记录一下,任务如下首先看一下给的example的README部分和提前的准备工作,也了解如何运行和编辑文件,在example模板的基础上去修改。---------------------...原创 2020-04-16 20:11:03 · 814 阅读 · 2 评论 -
Hadoop编程作业part1,利用MapReduce计算
Map是将输入的一个key-value记录<ik.iv>输出为多个key-value记录<mk,mv>,Reduce函数则是输入一个mk和与之对应的mv,输出为多个key-value记录<ok,ov>,在示例中,老师给了一个WordCount的例子,网上有一篇博客记录的特别好,如下在这个例子的基础上进行修改,完成如下的目标任务。思路就是直接map + re...原创 2020-04-14 23:15:54 · 457 阅读 · 0 评论 -
从HDFS中读文件,进行Hash based groupby处理,再写入Hbase(任务总结)
大数据系统的任务要求,从HDFS中读文件,进行Hash based groupby处理,再写入Hbase。首先要仔细学会使用docker,菜鸟教学上对docker的教程很快就可以入门,该任务的环境已经在docker中配置好,要了解什么是镜像,什么是容器,如何下载镜像,如何通过镜像打开一个容器。熟悉一些docker指令。当学会了用docker的简单功能之后,就可以开始have fun了!...原创 2020-03-27 00:07:55 · 1174 阅读 · 1 评论