大数据：数据采集平台之Scribe

最新推荐文章于 2022-06-29 11:28:24 发布
最新推荐文章于 2022-06-29 11:28:24 发布
阅读量2k 收藏 5
点赞数 3
分类专栏： 云计算与大数据 文章标签： 大数据 数据采集 Scribe
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29229567/article/details/88032491
版权

大数据：数据采集平台之Scribe

  1. Apache Flume
    详情请看文章：《大数据：数据采集平台之Apache Flume》

  2. Fluentd
    详情请看文章：《大数据：数据采集平台之Fluentd》

  3. Logstash
    详情请看文章：《大数据：数据采集平台之Logstash》

  4. Apache Chukwa
    详情请看文章：《大数据：数据采集平台之Apache Chukwa 》

  5. Scribe
    详情请看文章：《大数据：数据采集平台之Scribe 》

  6. Splunk Forwarder
    详情请看文章：《大数据：数据采集平台之Splunk Forwarder》

GitHub地址： https://github.com/facebookarchive/scribe

Scribe是Facebook开发的数据(日志)收集系统。已经多年不维护。部署架构如下：
在这里插入图片描述

参考：https://mp.weixin.qq.com/s/emQ_94T0_Hw3ywQc0-4Dtg

王小二(海阔天空)
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
大数据采集与预处理技术
haorenzz9的博客
05-30 7554
第一章 三个点 1.1数据的处理流程 数据采集 （系统日志采集，互联网数据采集，ETL） 在网上采集各种信息 数据预处理（数据清理，数据集成，数据变换，数据规约） 采集到信息杂乱，需要处理 数据存储 （ HDFS，NoSQL，云存储） 处理完数据我们要把它存储起来 数据分析与挖掘 （关联，聚类，分类，预测，回归，机器学习） 对...
大数据应用日志采集之Scribe 安装配置指南
大数据基础入门教程
02-12 440
大数据应用日志采集之Scribe安装配置指南 1.概述 Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。它能从各种日志源收集日志，存储到一个中央存储系统上，便于进行集中统计分析处理。它为日志的”分布式收集，统一处理”提供了一个可扩展的，高容错的方案。scribe代码很简单，但是安装配置却很复杂，本文记录了作者实际的一次安装的过程，感觉真是不一般的琐...
大数据中数据采集的几种方式.pdf
12-24
⼤数据中数据采集的⼏种⽅式 ⼀、采集⼤数据的⽅法 1.1通过系统⽇志采集⼤数据 ⽤于系统⽇志采集的⼯具，⽬前使⽤最⼴泛的有：Hadoop 的Chukwa、ApacheFlumeAFacebook的Scribe和LinkedIn的Kafka等。这 ⾥主要学习Flume。 Flume是⼀个⾼可靠的分布式采集、聚合和传输系统，Flume⽀持在⽇志系统中定制各类数据发送⽅，⽤于收集数据，同时对数据进⾏简单 处理，并写到诸如⽂本、HDFS这些接受⽅中。 Flume的核⼼其实就是把数据从数据源收集过来，再将收集到的数据送到指定的⽬的地…… 1.2通过⽹络采集⼤数据 ⽹络采集是指通过⽹络爬⾍或⽹站公开API等⽅式，从⽹站上获取⼤数据信息，该⽅法可以将⾮结构化数据从⽹页中抽取出来，将其存储为 统⼀的本地数据⽂件，并以结构化的⽅式存储。它⽀持图⽚、⾳频、视频等⽂件或附件的采集。 ⼀般来说，⽹络爬⾍⼯具基本可以分类3类：分布式⽹络爬⾍⼯具（Nutch）、Java⽹络爬⾍⼯具（Crawler4j、WebMagic、 WebCollector）、⾮Java⽹络爬⾍⼯具（ Scrapy）。 1.2.1⽹络爬⾍原理 所谓的⽹络爬⾍，其实是⼀种按照⼀定规则，⾃动地抓取web信息的程序或脚本。 ⽹络爬⾍可以⾃动采集所有其能够访问到的页⾯内容，为搜索引擎和⼤数据分析提供数据来源，⼀般有数据采集、数据处理和数据存储三部 分功能。 ⽹络爬⾍是如何爬数据的？ 这是因为⽹页中除了供⽤户浏览的⽂字信息外，还包含⼀些超链接信息，通过获取这些超链接URL，再辅以⼀ 定的算法，爬⾍就能得到数据了。 1.2.2爬⾍⼯作流程 基本情况下，爬⾍会⾸先获取⼀部分种⼦URL，将这些URL放⼊待抓取URL队列，从队列中取出待抓取URL，解析DNS得到主机IP，并将 URL对应⽹页下载储存。最后将这些URL放⼊已抓取队列中，如此循环。 1.2.3爬⾍抓取策略 互联⽹上的⽹页数量以亿级为单位，该以什么样的策略爬这些⽹页的数据成为了⼀个问题，⼤致分为⼏个类型。 通⽤⽹络爬⾍，⼜称为全⽹爬⾍，主要为门户站点搜索引擎和⼤型web服务提供商采集数据，⼜分为深度优先策略和⼴度优先策略。 聚焦⽹络爬⾍，⼜称为主题⽹络爬⾍，是指选择性地爬⾏那些与预先定义好的主题相关的页⾯的⽹络爬⾍。也就是有⼀个明显的主题， ⽐如⽂本、⽐如图⽚……聚焦⽹络爬⾍⼜分为⼏种：1.基于内容、2.基于链接结构、3.基于增强学习（？）、4.基于语境（？） 增量式⽹络爬⾍，是指获取的⽬标⽹页尽量为新⽹页。 深层⽹络爬⾍，如果将那些传统搜索引擎可以索引的页⾯归属于表层⽹页，那么深层⽹络爬⾍获取的页⾯就是之外的"深层⽹页"。 1.3具体的爬⾍⼯具 1.3.1Scrapy Scrapy 是⼀个为了爬取⽹站数据、提取结构性数据⽽编写的应⽤框架，可以应⽤在包括数据挖掘、信息处理或存储历史数据等⼀系列的程 序中。 虽然Scrpay⾮常强⼤，不过它是适⽤于Python的，⽽本⼈正好⼜没有接触过Python，所以这⼀部分暂且只做了解…… 1.3.2Crawler4j、WebMagic、WebCollector 这三者都是JAVA的单机爬⾍开源框架，区别可能是在于算法和调度之类的地⽅？这点搜索了⼀下，都没有能查到，就姑且这样认为吧。 这⾥我就⽤WebMagic做⼀个Demo试⼀试吧！ 1.4跑⼀下WebMagic 百度后我找到了WebMagic的 照着⾥⾯的例⼦测试⼀下： ⾸先新建⼀个maven项⽬，是不是web项⽬都可以，只要是maven就⾏了。嗯，当然不要maven也可以⼿动导⼊jar包，不过为了⽅便 还是使⽤maven吧。 官⽹有⼀个官⽅的简单例⼦ public class GithubRepoPageProcessor implements PageProcessor { // 部分⼀：抓取⽹站的相关配置，包括编码、抓取间隔、重试次数等 private Site site = Site.me().setRetryTimes(3).setSleepTime(1000); @Override // process是定制爬⾍逻辑的核⼼接⼝，在这⾥编写抽取逻辑 public void process(Page page) { // 部分⼆：定义如何抽取页⾯信息，并保存下来 page.putField("author", page.getUrl().regex("https://github\\.com/(\\w+)/.*").toString()); page.putField("name", page.getHtml().xpath("//h1[@class='entry-title public']/strong/a/text()").toStri
scribe日志收集
linuxheik的专栏
09-23 913
https://www.xiaomastack.com/2014/11/11/scribe-nginx-php/ 日志管理(4) 用scribe收集nginx和php日志 By 小马 · 十一月 11, 2014 · Scribe, 日志管理 · Leave a comment 介绍怎样用scribe收集各台服务器上nginx和php程序运行时自身产生的日志(e
六款大数据采集平台的架构分析
u010299467的专栏
01-25 1万+
随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台： Apache FlumeFluentdLogstashChukwaScribeSplunk Forwarder 大数据平台与数据采集 任何完整的大数据平台，一般包括以下的几个过程： 数据采集数据存储数据处理数据展现（可视化，报表和监控） 其中，数据采集是所有数据系统必
【数据采集与数据清洗】课堂笔记
weixin_55270959的博客
06-29 3422
第一章 大数据概述 1.1 进入大数据时代的原因 第三次信息化浪潮 信息科技为大数据时代提供支撑 1）存储设备容量不断增加 2）CPU处理能力大幅提升 3）网络带宽不断增加 数据产生方式的变革促成大数据时代来临 1.2 大数据概念：大数据不仅仅是数据的“大量化”，而是包含“快速化”“多样化”和 “价值化”等多重属性 1.3 大数据应用 大数据关键技术 1）大数据处理过程： 大数据采集-大数据预处理-大数据存储-大数据分析与挖掘-大数据可视化 2）大数据技术体系：数据采集与预处理技术，分布式数据存储技.
[转]开源日志系统比较
clouderyu的专栏
06-14 1万+
（注：时间有限，整篇文章写得比较粗糙，如果想进一步探讨，可给我发email/msn：[email protected]，或者加入QQ讨论群：41172282）1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1）构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；
scribe - 日志收集器 分析
热门推荐
kohaku的专栏
12-02 2万+
我们知道，使用日志系统是为了使系统变得更健壮，能够应对各种错误并能从错误中较快地恢复。一个大型的分布式系统生成的日志数量是巨大的，所以需要一个有效的工具对其进行管理。Scribe就是这样一个日志收集服务器，使用它可以对大型的系统进行监控。它 是Facebook的一个开源组件，使用的是Facebook另一个框架—Thrift。Thrift 在我的理解就是一个高效的跨语言 rpc 框架，所以它可以支持通过 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell,
大数据应用日志采集之Scribe演示实例完全解析
weixin_34278190的博客
07-25 131
引子： 　　Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。当中央存储系统的网络或者机器出现故障时，scribe会将日志转存到本地或者另一个位置，当中央存储系统恢复后，...
Scribe日志收集工具
weixin_33766805的博客
02-04 161
Scribe日志收集工具   概述 Scribe是facebook开源的日志收集系统，在facebook内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。当中央存储系统的网络或者机器出现故障时，scribe会将日志转存到本地或者另...
通过系统日志采集大数据
01-07
目前使用最广泛的、用于系统日志采集的海量数据采集工具有 Hadoop 的 Chukwa、ApacheFlumeAFacebook 的 Scribe 和 LinkedIn 的 Kafka 等。 以上工具均采用分布式架构，能满足每秒数百 MB 的日志数据采集和传输需求。
scribe-plugin-section-command:用于插入标题的 Scribe 编辑器插件
07-09
scribe-plugin-section-command
数据采集在大数据中的应用.doc
12-24
数据采集在大数据中的应用 作者：刘阳 来源：《数码设计》2018年第09期 摘要： 当今世界已经进入了一个信息化时代，大数据在很多行业中都扮演着十分重要的角色， 影响着人们的生产生活方式。本文围绕数据采集在...
大数据下的数据分析平台架构.pdf
12-24
互联⽹企业的海量数据采集⼯具，有Facebook开源的Scribe、LinkedIn开源的 Kafka、淘宝开源的Timetunnel、Hadoop的Chukwa等，均可以满⾜每秒数百MB的⽇志数据采集和传输需求，并将这些数据上载到Hadoop 中央系统上。...
云计算：简述云计算的定义与模式
王小二(海阔天空)
01-24 1万+
云计算：简述云计算的定义与模式 一、云计算的定义 云计算（Cloud Computing）是基于互联网的相关服务的增加、使用和交互模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网，后来也用来表示互联网和底层基础设施的抽象。因此，云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变...
云计算：IAAS、PAAS和SAAS之间的区别
王小二(海阔天空)
02-03 9900
1.IAAS：用户通过Internet 可以从完善的计算机基础设施获得服务。这类服务可以称为基础设施即服务。 2.PAAS：提供了用户可以访问的完整或部分的应用程序开发,这类服务可以称为平台即服务。 3.SAAS：提供了用户可以访问的完整的可直接使用的应用程序,这类服务可以称为软件即服务。 如果把他们看作层次结构，那么第一层自然叫做IAAS，第二层就是PAAS，第三层也就是SAAS。 下面简单...
大数据：数据采集平台之Apache Chukwa
王小二(海阔天空)
02-28 4344
大数据：数据采集平台之Apache Chukwa 官网：https://chukwa.apache.org/ Apache Chukwa是Apache旗下除Apache Flume外，又一个开源的数据收集平台。Chukwa基于Hadoop的HDFS和Map Reduce来构建(显而易见，它用Java来实现)，提供扩展性和可靠性。Chukwa同时提供对数据的展示，分析和监视。该项目已经不活跃了，它...
大数据：数据采集平台之Splunk Forwarder
王小二(海阔天空)
02-28 3019
大数据：数据采集平台之Splunk Forwarder 官网： http://www.splunk.com/ Splunk是一个不开源的，商业化的大数据平台产品。Splunk提供完整的数据采集，数据存储，数据分析和处理，以及数据展现的能力。 Splunk是一个分布式的机器数据平台，主要有三个角色： Search Head负责数据的搜索和处理，提供搜索时的信息抽取。 Indexer负责数据的存储...
大数据：简述对数据采集平台的认识
王小二(海阔天空)
02-28 2785
大数据：简述对数据采集平台的认识 一、数据采集平台的认识 任何完整的大数据平台，一般包括以下的几个过程：       数据采集–>数据存储–>数据处理–&am
osg::scribe
最新发布
06-14
osg::Scribe是OpenSceneGraph中的一个类，用于创建一个包围盒或球体来围绕场景图形中的对象。这个包围盒或球体称为"scribe"，可以用于进行场景图形的裁剪、优化、碰撞检测等操作。osg::Scribe可以通过设置不同的参数...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王小二(海阔天空)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值