大数据处理
关注
分享
扫一扫
HolyRoy
这个作者很懒，什么都没留下…
展开
-
flume+RabbitMQ+Storm实时日志运算处理
flume+RabbitMQ+Storm实时日志运算处理原创 2016-09-23 10:01:59 · 5366 阅读 · 0 评论 -
Flume采集日志进入HDFS以及Hadoop环境搭建
Flume采集日志进入HDFS以及Hadoop环境搭建原创 2016-09-23 09:58:31 · 1259 阅读 · 1 评论 -
Flume的JVM调优策略
当你使用Flume遇到内存溢出等异常时.就参照以下调整你的jvm参数即可.原创 2016-10-21 11:29:55 · 6282 阅读 · 1 评论 -
flume+spark streaming+redis完整篇
一.前言本篇是用flume作为数据源,spark streaming来实时处理,然后把结果存在redis供查询.本篇介绍的是一个实时统计网站访问的pv的例子.本篇采用的各种版本如下 scala-2.10.4 spark-1.6.1 flume-1.6.0本篇采用的spark集群为sdandalone模式原创 2016-09-26 10:27:01 · 2947 阅读 · 0 评论 -
使用HiVE分析数据
若要适应hive分析，就需要在hdfs数据的基础上create table. 而最重要的一步就是根据log的内容来写正则表达式，匹配log中的每一列。转载 2016-10-20 10:43:44 · 576 阅读 · 0 评论