大数据
付江
关注软件开发和互联网业界
展开
-
Router-Based HDFS Federation 在滴滴大数据的应用
一、背景 HDFS 的 Master/Slave 架构,使得其具有单点瓶颈,即随着业务数据的大规模膨胀,Master 节点在元数据存储与提供服务上都会存在瓶颈。为了克服 HDFS 单点瓶颈存在的扩展性、性能、隔离问题,社区提出了Federation(https://issues.apache.org/jira/browse/HDFS-1052 )方案来进行解决。 但是使用该方案之后,暴露给客户的问...原创 2019-01-11 11:11:43 · 1826 阅读 · 0 评论 -
滴滴云上搭建 Gluster 分布式文件系统
Gluster 是什么 Gluster 是一个分布式文件系统,与 CephFS, HDFS 等类似。 Gluster 架构 Volume 一块磁盘在 Gluster 里叫一个 brick,多个 brick 组成一个 volume。Volume 是逻辑磁盘,有以下类型: 分布式。一个 volume 的多个文件分布在多个 brick 上,一个文件只在一个 brick 上出现,如果这个磁盘坏了,那么文...原创 2019-01-15 14:26:18 · 290 阅读 · 0 评论 -
基于滴滴云 DC2 搭建 VPP 应用实例
滴滴云 DC2 搭建 VPP 环境 Cisco 开源了自己的数据包处理框架,并将其纳入 Linux 基金会的 FD.io,开源的内容就是 VPP。 这个 VPP 实现了 VSwitch、VRouter 等功能,对于当前的云网络有很大的用处,很多公司也开始使用 VPP 来搭建自己的数据转发面,本文将基于滴滴云的 DC2 云服务器来 搭建 VPP 基本环境。 创建 DC2 相关购买和创建流程可以查看滴...原创 2019-01-30 11:07:31 · 426 阅读 · 0 评论 -
基于滴滴云部署 Elasticsearch + Kibana + Fluentd
一、Elasticsearch + Kibana + Fluentd 简单介绍 EFK 架构可用于日志的收集、存储、搜索和分析。组件的功能说明如下: Fluentd 用以收集日志。 Elasticsearch 简称 es 主要用以数据的存储并提供索引与搜索功能。 Kibana 搜索与分析。 二、环境准备 在滴滴云官网购买一台 DC2 实例,规格无需太大,需要带 EIP 方便下载和安装。 三、E...原创 2019-02-28 11:29:26 · 297 阅读 · 0 评论