storm高并发UV统计

最新推荐文章于 2022-09-05 11:31:13 发布
最新推荐文章于 2022-09-05 11:31:13 发布
阅读量384 收藏
点赞数
分类专栏： Strom 文章标签： 大数据 java 数据结构与算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/futureofstar/article/details/84885378
版权
[size=small]统计高并发UV可行的方案（类似WordCount的计算去重word总数）：
bolt1通过fieldGrouping 进行多线程局部汇总，下一级blot2进行单线程保存session_id和count数到Map且进行遍历，可以得到：
Pv、UV、访问深度（按每个session_id 的浏览数）
2014-05-01 UV数（按日期统计）


既然去重，必须持久化。两种持久化数据：

1、内存（适用中小型数据）
数据结构Map

2、no-sql 分布式数据库，如Hbase（适用大型数据）
[/size]


[size=large]1、数据源[/size] 

public class SourceSpout implements IRichSpout{

	/**
	 * 数据源Spout
	 */
	private static final long serialVersionUID = 1L;

	Queue<String> queue = new ConcurrentLinkedQueue<String>();

	SpoutOutputCollector collector = null;

	String str = null;

	public void nextTuple() {
		if (queue.size() >= 0) {
			collector.emit(new Values(queue.poll()));
		}
		try {
			Thread.sleep(500) ;
		} catch (InterruptedException e) {
			e.printStackTrace();
		}

	}

	public void open(Map conf, TopologyContext context,
			SpoutOutputCollector collector) {
		try {
			this.collector = collector;

			Random random = new Random();
			String[] hosts = { "www.taobao.com" };
			String[] session_id = { "ABYH6Y4V4SCVXTG6DPB4VH9U123", "XXYH6YCGFJYERTT834R52FDXV9U34", "BBYH61456FGHHJ7JL89RG5VV9UYU7",
					"CYYH6Y2345GHI899OFG4V9U567", "VVVYH6Y4V4SFXZ56JIPDPB4V678" };
			String[] time = { "2014-01-07 08:40:50", "2014-01-07 08:40:51", "2014-01-07 08:40:52", "2014-01-07 08:40:53", 
					"2014-01-07 09:40:49", "2014-01-07 10:40:49", "2014-01-07 11:40:49", "2014-01-07 12:40:49" };

			for (int i = 0; i < 20; i++) {
				queue.add(hosts[0]+"\t"+session_id[random.nextInt(5)]+"\t"+time[random.nextInt(8)]);
			}

		} catch (Exception e) {
			e.printStackTrace();
		}
	}

	public void close() {
		// TODO Auto-generated method stub
	}

	public void declareOutputFields(OutputFieldsDeclarer declarer) {
		// TODO Auto-generated method stub
		declarer.declare(new Fields("log"));
	}


	public Map<String, Object> getComponentConfiguration() {
		// TODO Auto-generated method stub
		return null;
	}

	public void ack(Object msgId) {
		// TODO Auto-generated method stub
		System.out.println("spout ack:"+msgId.toString());
	}


	public void activate() {
		// TODO Auto-generated method stub

	}



	public void deactivate() {
		// TODO Auto-generated method stub

	}


	public void fail(Object msgId) {
		// TODO Auto-generated method stub
		System.out.println("spout fail:"+msgId.toString());
	}

}


[size=large]2、日期格式化处理类[/size] 


public class FmtLogBolt implements IBasicBolt{

	/**
	 * 格式化日期
	 */
	private static final long serialVersionUID = 1L;

	public void declareOutputFields(OutputFieldsDeclarer declarer) {
		declarer.declare(new Fields("date","session_id"));

	}

	public Map<String, Object> getComponentConfiguration() {
		// TODO Auto-generated method stub
		return null;
	}

	public void prepare(Map stormConf, TopologyContext context) {
		// TODO Auto-generated method stub

	}

	String eachLog = null;
	public void execute(Tuple input, BasicOutputCollector collector) {
		eachLog=input.getStringByField("log");
		if (eachLog != null && eachLog.length() > 0 ) {
			collector.emit(new Values(DateFmt.getCountDate(eachLog.split("\t")[2],DateFmt.date_short),eachLog.split("\t")[1])) ;// 日期, session_id
		}
	}

	public void cleanup() {
		// TODO Auto-generated method stub

	}

}

[size=large]
3、多线程局部汇总深度数据[/size] 


public class DeepVisitBolt implements IBasicBolt{

	/**
	 * 多线程局部汇总深度数据
	 */
	private static final long serialVersionUID = 1L;

	public void declareOutputFields(OutputFieldsDeclarer declarer) {
		declarer.declare(new Fields("date_session_id","count"));

	}

	public Map<String, Object> getComponentConfiguration() {
		// TODO Auto-generated method stub
		return null;
	}

	public void prepare(Map stormConf, TopologyContext context) {
		// TODO Auto-generated method stub

	}

	Map<String, Integer> counts = new HashMap<String, Integer>();
	public void execute(Tuple input, BasicOutputCollector collector) {
		String dateString =input.getStringByField("date");
		String session_id = input.getStringByField("session_id");
		Integer count = counts.get(dateString+"_"+session_id);
		if (count == null) {
			count = 0;
		}
		count ++ ;

		counts.put(dateString+"_"+session_id,count) ;
		collector.emit(new Values(dateString+"_"+session_id,count)) ;
	}

	public void cleanup() {
		// TODO Auto-generated method stub

	};

}


[size=large]4、单线程汇总数据[/size] 

public class UVSumBolt implements IBasicBolt{

	/**
	 * 单线程汇总数据
	 */
	private static final long serialVersionUID = 1L;
	Map<String, Integer> counts = new HashMap<String, Integer>();

	public void declareOutputFields(OutputFieldsDeclarer declarer) {
		// TODO Auto-generated method stub
	}

	public Map<String, Object> getComponentConfiguration() {
		// TODO Auto-generated method stub
		return null;
	}

	public void prepare(Map stormConf, TopologyContext context) {
		cur_date = DateFmt.getCountDate("2014-01-07", DateFmt.date_short);

	}

	long beginTime = System.currentTimeMillis() ;
	long endTime = 0;
	String cur_date = null;
	public void execute(Tuple input, BasicOutputCollector collector) {
		try {
			endTime = System.currentTimeMillis() ;
			long PV = 0;// 总数
			long UV = 0; // 个数，去重后

			String dateSession_id = input.getString(0);
			Integer count = input.getInteger(1);

			//清空不是当天的数据
			if (!dateSession_id.startsWith(cur_date)
					&& DateFmt.parseDate(dateSession_id.split("_")[0]).after(
							DateFmt.parseDate(cur_date))) {
				cur_date = dateSession_id.split("_")[0];
				counts.clear();
			}

			counts.put(dateSession_id, count);

			if (endTime - beginTime >= 2000) {//两秒输出一次
				// 获取word去重个数，遍历counts 的keySet，取count
				Iterator<String> i2 = counts.keySet().iterator();
				while (i2.hasNext()) {
					String key = i2.next();
					if (key != null) {
						if (key.startsWith(cur_date)) {
							UV++;
							PV += counts.get(key);
						}
					}
				}
				System.err.println("PV=" + PV + ";  UV="+ UV);
			}

		} catch (Exception e) {
			throw new FailedException("SumBolt fail!");
		}

	}

	public void cleanup() {
		// TODO Auto-generated method stub

	}

}


[size=large]5、topoly类[/size] 


public class UVTopo {

	/**
	 * topoly类
	 */
	public static void main(String[] args) {

		TopologyBuilder builder = new TopologyBuilder();

		builder.setSpout("spout", new SourceSpout(), 1);
		builder.setBolt("FmtLogBolt", new FmtLogBolt(), 4).shuffleGrouping("spout");
		// Fields Grouping：按Field分组，比如按word来分组， 具有同样word的tuple会被分到相同的Bolts， 而不同的word则会被分配到不同的Bolts。 
		builder.setBolt("sumBolt", new DeepVisitBolt(),4).fieldsGrouping("FmtLogBolt", new Fields("date","session_id"));
		builder.setBolt("UvSum", new UVSumBolt(), 1).shuffleGrouping("sumBolt") ;

		Config conf = new Config() ;
		conf.setDebug(true);

		if (args.length > 0) {
			try {
				StormSubmitter.submitTopology(args[0], conf, builder.createTopology());
			} catch (AlreadyAliveException e) {
				e.printStackTrace();
			} catch (InvalidTopologyException e) {
				e.printStackTrace();
			} catch (AuthorizationException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}
		}else {
			LocalCluster localCluster = new LocalCluster();
			localCluster.submitTopology("mytopology", conf, builder.createTopology());
		}

	}

}


6、pom.xml文件
[quote]
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.test</groupId>
<artifactId>StormMavenProject</artifactId>
<packaging>jar</packaging>
<version>0.0.1-SNAPSHOT</version>
<name>StormMavenProject</name>
<url>http://maven.apache.org</url>
<dependencies>

<dependency>
<groupId>org.ow2.asm</groupId>
<artifactId>asm</artifactId>
<version>5.0.3</version>
</dependency>
<dependency>
<groupId>org.clojure</groupId>
<artifactId>clojure</artifactId>
<version>1.7.0</version>
</dependency>
<dependency>
<groupId>com.lmax</groupId>
<artifactId>disruptor</artifactId>
<version>3.3.2</version>
</dependency>
<dependency>
<groupId>com.esotericsoftware</groupId>
<artifactId>kryo</artifactId>
<version>3.0.3</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-api</artifactId>
<version>2.8</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-core</artifactId>
<version>2.8</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>log4j-over-slf4j</artifactId>
<version>1.6.6</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-slf4j-impl</artifactId>
<version>2.8</version>
</dependency>
<dependency>
<groupId>com.esotericsoftware</groupId>
<artifactId>minlog</artifactId>
<version>1.3.0</version>
</dependency>
<dependency>
<groupId>org.objenesis</groupId>
<artifactId>objenesis</artifactId>
<version>2.1</version>
</dependency>
<dependency>
<groupId>com.esotericsoftware</groupId>
<artifactId>reflectasm</artifactId>
<version>1.10.1</version>
</dependency>

<dependency>
<groupId>javax.servlet</groupId>
<artifactId>servlet-api</artifactId>
<version>2.5</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<version>1.7.21</version>
</dependency>
<dependency>
<groupId>org.apache.storm</groupId>
<artifactId>storm-core</artifactId>
<version>1.1.0</version>
</dependency>
<dependency>
<groupId>org.apache.storm</groupId>
<artifactId>storm-rename-hack</artifactId>
<version>1.1.0</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>3.8.1</version>
<scope>test</scope>
</dependency>

<dependency>
<groupId>ring-cors</groupId>
<artifactId>ring-cors</artifactId>
<version>0.1.5</version>
</dependency>


<dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<version>3.4.10</version>
</dependency>



</dependencies>
<build>
<finalName>StormMavenProject</finalName>
</build>
</project>
[/quote]

[size=large]7、日期处理类[/size] 

public class DateFmt {
	/*
	 * 日期处理类
	 */
	public static final String date_long = "yyyy-MM-dd HH:mm:ss" ;
	public static final String date_short = "yyyy-MM-dd" ;

	public static SimpleDateFormat sdf = new SimpleDateFormat(date_short);

	public static String getCountDate(String date,String patton)
	{
		SimpleDateFormat sdf = new SimpleDateFormat(patton);
		Calendar cal = Calendar.getInstance(); 
		if (date != null) {
			try {
				cal.setTime(sdf.parse(date)) ;
			} catch (ParseException e) {
				e.printStackTrace();
			}
		}
		return sdf.format(cal.getTime());
	}

	public static Date parseDate(String dateStr) throws Exception
	{
		return sdf.parse(dateStr);
	}

	public static void main(String[] args) throws Exception{

//		System.out.println(DateFmt.getCountDate("2014-03-01 12:13:14", DateFmt.date_short));
		System.out.println(parseDate("2014-05-02").after(parseDate("2014-05-01")));
	}

}


[size=large]8、测试结果[/size]

[img]http://dl2.iteye.com/upload/attachment/0124/8368/9aa5d33b-86e3-3dd6-a719-95773ed346a5.jpg[/img]
futureofstar
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习部分：PV,UV的计算（Scala版本）
wyqwilliam的博客
09-01 916
#coding:utf-8 import sys from pyspark.conf import SparkConf from pyspark.context import SparkContext from com.bjsxt.spark.wordcount import showResult print(sys.getdefaultencoding()) reload(sys) sys....
Storm API实现词频统计
05-30
在大数据处理领域，Apache Storm是一个实时计算系统，它能够持续处理数据流，实现低延迟、高吞吐量的数据分析。在这个“Storm API实现词频统计”的案例中，我们将深入探讨如何利用Java编程语言和Storm API来构建一个...
storm高并发PV统计
futureofstar的博客
04-16 247
[b][size=medium]一、PV统计思考[/size][/b] 方案需要考虑分析多线程下，注意线程安全问题。 线程安全：多线程处理的结果和单线程一致 如下是否可行？ 不可行方案： 定义static long pv， Synchronized 控制累计操作。Synchronized 和 Lock在单个JVM下有效，但在多JVM下无效。 可行方案两个方案： 1...
015-Storm计算网站UV(去重计算模式)
艾文
10-12 6375
通过Storm统计uv和pv，其中uv去重，解决高并发多线程下uv和pv统计出错问题。
PV并发UV
abc409944643的博客
09-10 111
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'返回结果：SYN_RECV 2 （SYN连接请求收到2个 等待确认）ESTABLISHED 1 （有1个正常数据传输状态）TIME_WAIT 62 （等待结束的请求62个） 可返回的所有状态解释：CLOSED：无连接是活动的或正在进行LISTEN：服务...
storm的并发度
张不帅
12-12 448
场景分析 单线程下:加减乘除,全局汇总 多线程下:局部加减乘除,持久化DB,多个bolt汇总一个bolt 使用场景 网站最常用的两个指标: PV(page views)：count (session_id) 即页面浏览量。 UV(user views)：count(distinct session_id) 即独立访客数。 a）用ip地址分析 指访问某个站点或点击某个网页的不同ip的人数...
791792259ARMA_Analysis_storm1uv_armamatlab_频率预测_
10-01
标题中的“791792259ARMA_Analysis_storm1uv_armamatlab_频率预测_”暗示了这是一个关于使用ARMA（自回归移动平均）模型进行频率预测的项目，其中“storm1uv”可能指的是某种特定的数据集或场景，比如模拟风暴期间的...
storm统计单词数的demo
04-25
【storm统计单词数的demo】是一个基于Apache Storm的入门级示例，旨在帮助初学者理解这个分布式实时计算系统的运作机制。Apache Storm是一个开源的流处理框架，它允许开发者处理无界数据流，实现高吞吐量、低延迟的...
地区销售实时统计 kakfa+storm+hbase+servlet+highcharts
03-14
Highcharts是一个JavaScript图表库，用于在Web上生成高质量的、交互式的图表。在“地区销售实时统计”项目中，Highcharts用于将后台处理后的销售数据以图表形式展示出来，例如折线图、柱状图等，使得用户可以直观地...
基于Storm的大数据指标实时计算方法
05-06
基于流处理技术的大数据指标实时计算方法，主要由日志采集、消息管理、协调管理、实时处理等部分构成，使用Hadoop、Zookeeper、Storm、Kafka、Redis等开源软件，综合应用了数据库日志分析，流处理、内存计算等技术....
storm计算网站UV（去重计算模式）
10-08 4390
需求分析： UV统计 方案分析： 1，传统的方式是把session_id放入Set实现自动去重，Set.size()获得UV，但是这种方式只能在单机上有效 2，可行的方案（类似WordCount的计算去重word总数）： bolt1通过fieldGrouping进行多线程局部汇总，下一级bolt2进行单线程保存session_id和count数到Map且进行遍历，可以得到： PV，UV
PV、UV、并发数
Little_witch的博客
07-17 1285
PV、UV、并发数 【UV】是访问量（按人累计且不重复累计） UV=(ip/cookie)都没有时才统计。 IP：断网再登就会获得新IP 所以首次登录会记录IP、cookie。 cookie：存储在本地终端上的数据，用来辨别用户身份、进行session跟踪。cookie基本包含：用户名、密码。 请求某个网站时，浏览器 cookie 和 网页的请求session一起发送给存网站的服务器。 【PV】是...
storm-core使用gradle打包找不到 ring-cores问题Could not find ring-cors:ring-cors:0.1.5.
王小雷-多面手
08-30 2011
问题storm-core使用gradle打包找不到ring-cors:ring-cors:0.1.5. FAILURE: Build failed with an exception. What went wrong: Could not resolve all files for configuration ‘:compileClasspath’. Could not find ...
性能指标详解
最新发布
时光的博客
09-05 949
性能指标详细描述
Storm计算网站UV(去重计算模式)
09-10 337
（1）UVTopology import java.util.HashMap; import java.util.Map; import backtype.storm.Config; import backtype.storm.LocalCluster; import backtype.storm.topology.TopologyBuilder; import b...
基于storm实时热点统计的分布式并行缓存预热解决方案
qq_41793222的博客
06-08 1032
缓存冷启动，redis启动后，一点数据都没有，直接就对外提供服务了，mysql就裸奔（1）提前给redis中灌入部分数据，再提供服务（2）肯定不可能将所有数据都写入redis，因为数据量太大了，第一耗费的时间太长了，第二根本redis容纳不下所有的数据（3）需要根据当天的具体访问情况，实时统计出访问频率较高的热数据（4）然后将访问频率较高的热数据写入redis中，肯定是热数据也比较多，得多个服务并...
Storm之网站实时统计
tangshiweibbs的专栏
05-09 1128
package com.uplooking.bigdata.storm.test; import org.apache.storm.Config; import org.apache.storm.Constants; import org.apache.storm.LocalCluster; import org.apache.storm.generated.StormTopology
《Storm实时数据处理》一2.6　统计与持久化日志统计信息
weixin_34162695的博客
07-03 132
本节书摘来华章计算机《Storm实时数据处理》一书中的第2章 ，第2.6节，（澳）Quinton Anderson　著 卢誉声　译更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.6　统计与持久化日志统计信息 我们其实可以收集很多日志流的统计信息，但由于本节只是为了展示一些基本概念，因此我们只准备收集和处理单时间序列（每分钟）日志量。虽说如此，...
014-案例开发.Storm计算网站PV
艾文
10-12 3496
高并发多线程下采用storm统计网站的pv数据
实时计算平台STORM流式数据核心技术与报文系统.pdf
10-12
为解决这些问题，本文对Storm平台特点及其背后的核心技术进行了深入剖析，并结合实时服务现状，特别是现有的报文系统需求，得到了一个基于Storm的、满足高并发及业务隔离要求的原型系统，以期对下一代报文系统的设计...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值