Twitter所使用的开源项目

最新推荐文章于 2024-08-10 08:13:45 发布

小怪兽1024

最新推荐文章于 2024-08-10 08:13:45 发布

阅读量636

点赞数

分类专栏： Twitter

2 篇文章 0 订阅

订阅专栏

Apache Cassandra：一套分布式NoSQL数据库系统，以Amazon专有的完全分布式的Dynamo为基础，结合了Google BigTable基于列族（Column Family）的数据模型，是一个网络社交云计算方面理想的数据库。该项目最初由Facebook开发，于2008开源并捐赠给Apache基金会。
Apache Hadoop：由Apache基金会所开发的分布式系统基础架构，可使应用程序充分利用集群的威力高速运算和存储，用户可以在不了解分布式底层细节的情况下，开发分布式程序。
Apache Lucene：一个全文检索引擎工具包，目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。
Apache Pig：一个基于Hadoop的大规模数据分析平台，它提供的类SQL语言称为Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。

Node.js：一套用来编写高性能网络服务器的JavaScript工具包，在Twitter中用于队列处理（接收推文并写入数据库），使服务器能处理每个连接而不会阻塞通道。

Gerrit：一个基于Web的代码评审和项目管理的工具，主要面向基于Git版本控制系统的项目
Jenkins：一个持续集成引擎，主要用于持续、自动地构建/测试软件项目，以及监控一些定时执行的任务
RSpec：一个BDD 测试工具
1. Twitter背后的编程语言和框架
OpenJDK：Java的开源版本。Twitter陆续将一些项目从Rails迁移到了Java。
Python：一种高效的动态解释型Web编程语言。
Ruby和Ruby on Rails：Twitter最初主要由Ruby和Rails开发。
Scala：Twitter使用的主要应用编程语言之一，很多Twitter的基础架构都是用Scala编写。
Clojure：Clojure是一种运行在Java平台上的Lisp方言，在任何具备Java虚拟机的地方，都可以利用Lisp的强大功能。Twitter的大数据处理系统Storm就是基于Clojure。
Drupal：使用PHP语言编写的开源内容管理框架（CMF），由内容管理系统（CMS）和PHP开发框架共同构成。Twitter的开发者社区基于Drupal构建。
Sinatra：一个轻量、快速的Ruby开发框架。

TwistedMatrix：一个Python 框架，用来开发非阻塞异步的网络服务和应用程序。
Netty：一个异步的、事件驱动的Web应用框架和工具，用于快速开发高性能、高可靠性的网络服务器和客户端程序。Netty目前作为Twitter的核心队列Kestrel的通信模块。
Apache Thrift：一个由Facebook开源的远程服务调用框架，采用接口描述语言定义并创建服务，支持可扩展的跨语言服务开发，所包含的代码生成引擎可以在多种语言中创建高效的、无缝的服务。

Twitter公司所开源的项目

scalding：一个用于Cascading的Scala API。Cascading是一个构建于Hadoop上的API，用来创建复杂和容错数据处理工作流，它抽象了集群拓扑结构和配置，允许开发者快速开发复杂分布式的应用，而不用考虑背后的MapReduce。
summingbird：允许开发者以类似于本地Scala或Java的方式编写MapReduce程序，并在大部分著名的分布式MapReduce平台（包括Storm和Scalding）中执行它们。

Twitter Mysql：Twitter的MySQL分支
Parquet：一种Twitter内部供Hadoop使用的列式存储格式，为Hadoop生态系统中的所有项目提供支持高效率压缩的列式数据表达，而且与数据处理框架、数据模型或编程语言无关。
Finagle：一个允许开发者使用Java、Scala或其他JVM语言来构建异步RPC服务器和客户端的库，主要用于Twitter的后端服务。
iago：一个负载生成器，用来在产品正式发布前做流量负载测试。
twemproxy：一个快速、轻量级的memcached和redis代理服务器
zipkin：一个分布式的跟踪系统。在Twitter中用于收集各个服务上的监控数据，并提供查询接口。