- 博客(13)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 ELK日志分布式日志平台搭建
首先先搭建好ELK中的ElasticSearch存储数据 和Logstash采集数据ElasticSearch 本地快速搭建与使用es的独立性也很强，它本身是一个分布式的搜索引擎，通过倒排序索引对存储的数据进行索引。当输入查询关键字之后，es依据命中结果的匹配度有序返回结果，效果就像大家百度或者google搜索一样。在ELK组合中，担当的是数据存储、索引和提供查询接口的功能。Logsta...
2018-09-29 13:13:33
2550
1
原创 Logstash安装配置
什么是 Logstash？Logstash是一个具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据标准化为您选择的目的地。为各种高级下游分析和可视化用例清理和民主化所有数据。Logstash支持的输入类型安装从官网下载对应的版本，上传到linxu服务自定义目录进行解压https://www.elastic.co/downloads/logst...
2018-09-28 14:54:51
647
原创 Storm(七)Storm集成kafka
使用kafka-client jar进行Storm Apache Kafka集成这包括新的Apache Kafka消费者API。兼容性 Apache Kafka版本0.10起引入jar包 <dependency> <groupId>org.apache.storm</groupId&
2018-09-23 15:25:27
535
原创 Storm(六)Storm Trident使用
Trident简介Trident拥有一流的抽象，可以读取和写入有状态的来源。状态可以是拓扑的内部 - 例如，保存在内存中并由HDFS支持 - 或者外部存储在Memcached或Cassandra等数据库中。在任何一种情况下，Trident API都没有区别。Trident以容错的方式管理状态，以便状态更新在重试和失败时是幂等的。这使您可以推理Trident拓扑，就好像每条消息都是精确处理一...
2018-09-19 19:20:04
751
原创 Storm(五)DRPC远程调用
DRPC简介Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算。DRPC的storm topology以函数的参数流作为输入，而把这些函数调用的返回值作为topology的输出流。DRPC其实不能算是storm本身的一个特性， 它是通过组合storm的原语spout，bolt， topology而成的一种模式(pattern)。DRPC服务调...
2018-09-19 15:45:50
410
原创 Storm(四)并行度和流分组
并行度(parallelism)概念一个运行中的拓扑是由什么构成的：工作进程（worker processes），执行器（executors）和任务（tasks）在 Worker 中运行的是拓扑的一个子集。一个 worker 进程是从属于某一个特定的拓扑的，在 worker 进程中会运行一个或者多个与拓扑中的组件相关联的 executor。一个运行中的拓扑就是由这些运行于 Storm集群...
2018-09-17 15:52:39
386
原创 Storm(三)Java编写第一个本地模式demo
本地模式在本地模式下，Storm拓扑结构运行在本地计算机的单一JVM进程上。这个模式用于开发、测试以及调试，因为这是观察所有组件如何协同工作的最简单方法。在这种模式下，我们可以调整参数，观察我们的拓扑结构如何在不同的Storm配置环境下运行。要在本地模式下运行，我们要下载Storm开发依赖，以便用来开发并测试我们的拓扑结构。我们创建了第一个Storm工程以后，很快就会明白如何使用本地模式了。 ...
2018-09-17 12:41:05
1837
原创 Storm(二)常用shell命令
常用命令http://storm.apache.org/releases/1.2.2/Command-line-client.html[root@web1 apache-storm-1.2.2]# bin/storm helpCommands: activate blobstore classpath deactivate dev-zookeepe...
2018-09-17 10:37:51
648
原创 hadoop学习（四）MapReduce分布式计算利器
MapReduce简介MapReduce 是 Hadoop 的核心组成,是专用于进行数据计算的。如果我们把 MapReduce 拆开看，就是两个单词 map 和reduce Map采用了一组数据，并将其转换成另一组数据，其中，各个元件被分解成元组(键/值对)。其次，减少任务，这需要从Map 作为输入并组合那些数据元组成的一组小的元组输出。MapReduce 执行过程MapRe...
2018-09-14 18:24:38
185
原创 hadoop学习(三) HDFS 的 java 访问接口
要使用宿主机中的 java 代码访问客户机中的 hdfs，需要保证以下几点确保宿主机与客户机的网络是互通的 确保宿主机和客户机的防火墙都关闭，因为很多端口需要通过，为了减少防火墙配置，直接关闭确保宿主机与客户机使用的 jdk 版本一致。如果客户机使用 jdk6，宿主机使用 jdk7，那么代码运行时会报不支持的版本的错误宿主机的登录用户名必须与客户机的用户名一直。比如我们 linux 使用...
2018-09-13 19:07:37
836
原创 hadoop学习（二）分布式文件系统与 HDFS shell操作
HDFS简介数据量越来越大，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统 管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就 是分布式文件管理系统 。分布式文件系统是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间分布式文件管理系统很多，HDFS 只是其中一种。适用于一次写入、多次查询的情 况，不支持...
2018-09-13 12:33:36
426
原创 hadoop 学习(一）伪分布式搭建
伪分布模式安装hadoop 的安装分为本地模式、伪分布模式、集群模式。本地模式是运行在本地，只负 责存储，没有计算功能，本书不讲述。伪分布模式是在一台机器上模拟分布式部署，方便学 习和调试。集群模式是在多个机器上配置 hadoop，是真正的“分布式”。下载http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.7...
2018-09-12 17:54:44
182
原创 Storm(一)环境搭建安装
什么是Apache StormApache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架，具有最高的摄取率。虽然Storm是无状态的，它通过Apache ZooKeeper管理分布式环境和集群状态。它很简单，您可以并行地对实时数据执行各种操作。Apache Storm 和 Hadoop对比Apache ...
2018-09-12 15:12:10
714
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人