Trigl的博客

今天来讲一下Kafka，它是一个消息队列，应用场景比较广泛。刚开始学习一门东西，咱们先不管它是干什么的，先跑起来才是正经，所以本文主要讲两点：安装搭建Kafka简单介绍下Kafka的原理和应用1. 安装Kafka1.1 下载解压下载地址：http://kafka.apache.org/downloads，如0.10.1.0版本的Kafka下载wget http://apache.fayea.c

每个公司想要进行数据分析或数据挖掘，收集日志、ETL都是第一步的，今天就讲一下如何实时地（准实时，每分钟分析一次）收集日志，处理日志，把处理后的记录存入Hive中，并附上完整实战代码1. 整体架构思考一下，正常情况下我们会如何收集并分析日志呢？首先，业务日志会通过Nginx（或者其他方式，我们是使用Nginx写入日志）每分钟写入到磁盘中，现在我们想要使用Spark分析日志，就需要先将磁盘中的文件上