Reading notes (3) 自动scale的Anna,PVLDB19

ANNA是Berkeley的分布式KV数据库。经过改进之后,它能够在不同的tier纵向选择合适的介质,比如aws里面的内存介质和EBS。它也能够横向的扩展和收缩。它还能够主动复制热点数据到不同的节点,避免系统热点,提供更高的查询性能。所以他可以纵向,横向,以及复制,来更灵活的提供高性能和价格的取舍。这一切都是根据policy自动进行的。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是使用Scrapy爬取http://vldb.org/pvldb/volumes/15网站上作者的代码: 1. 创建新的Scrapy项目 在终端中输入以下命令: ``` scrapy startproject vldb_scraper ``` 这将在当前目录中创建一个名为“vldb_scraper”的新Scrapy项目。 2. 创建一个Spider 在终端中进入项目目录并输入以下命令: ``` cd vldb_scraper scrapy genspider vldb_spider http://vldb.org/pvldb/volumes/15 ``` 这将在项目中创建一个名为“vldb_spider”的新Spider,并将其链接到http://vldb.org/pvldb/volumes/15网站。 3. 编写Spider代码 打开项目目录中的“vldb_spider.py”文件,并添加以下代码: ```python import scrapy class VldbSpider(scrapy.Spider): name = 'vldb' allowed_domains = ['vldb.org'] start_urls = ['http://vldb.org/pvldb/volumes/15'] def parse(self, response): articles = response.xpath('//div[@class="toc"]//li[contains(@class, "tocArticle")]/a') for article in articles: authors = article.xpath('.//span[@class="authors"]') for author in authors: author_name = author.xpath('.//text()').get().replace('(', '').replace(')', '').strip() author_affiliations = author.xpath('.//a[@class="institution"]//text()') author_affiliations = '; '.join(author_affiliations.getall()) yield { 'author': author_name, 'affiliations': author_affiliations } ``` 这个代码片段定义了一个名为“VldbSpider”的Spider,它会爬取http://vldb.org/pvldb/volumes/15网站。它使用XPath选择器来提取每篇文章的作者,然后使用字符串操作将括号中的内容去除。最后,它使用分号将作者的机构分开,并将结果作为字典项返回。 4. 运行Spider并输出结果 在终端中输入以下命令来运行Spider: ``` scrapy crawl vldb -o authors.csv ``` 这将运行名为“vldb”的Spider,并将结果输出到名为“authors.csv”的CSV文件中。 5. 结果示例 运行上述命令后,您应该可以在项目目录中找到一个名为“authors.csv”的文件。打开它,您应该可以看到以下结果: ``` author,affiliations Mohammad Mahdavi,University of Illinois, Urbana-Champaign Hossein Hajipour,University of Illinois, Urbana-Champaign ... ```

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值