HBase：为客户行为生成搜索点击事件统计信息

于 2020-05-23 11:23:03 发布
阅读量238 收藏
点赞数
文章标签： 数据库 分布式 大数据 java python

在本文中，我们将探索HBase来存储客户搜索点击事件数据，并利用其基于搜索查询字符串和构面过滤器点击来获取客户行为信息。 我们将介绍如何使用MiniHBaseCluster，HBase Schema设计，使用HBaseSink与Flume集成以存储JSON数据。



在之前的文章的基础上，

我们已经探索了将搜索点击事件数据存储在Hadoop中并使用不同的技术对其进行查询。 在这里，我们将使用HBase实现相同的目的：

  • HBase小型集群设置
  • 使用Spring Data的HBase模板
  • HBase模式设计
  • 使用HBaseSink进行Flume集成
  • HBaseJsonSerializer序列化json数据
  • 查询过去一个小时的前10个搜索查询字符串
  • 查询过去一个小时的前10个搜索方面过滤器
  • 获取最近30天内客户的最近搜索查询字符串

searchanalytics-hbase-flume

HBase的

HBase “是Hadoop数据库，一个分布式，可扩展的大数据存储。”

HBaseMiniCluster / MiniZookeperCluster

要设置和启动小型集群，请检查HBaseServiceImpl.java 

...
			miniZooKeeperCluster = new MiniZooKeeperCluster();
			miniZooKeeperCluster.setDefaultClientPort(10235);
			miniZooKeeperCluster.startup(new File("taget/zookeper/dfscluster_" + UUID.randomUUID().toString()).getAbsoluteFile());
			...
			Configuration config = HBaseConfiguration.create();
			config.set("hbase.tmp.dir", new File("target/hbasetom").getAbsolutePath());
			config.set("hbase.master.port", "44335");
			config.set("hbase.master.info.port", "44345");
			config.set("hbase.regionserver.port", "44435");
			config.set("hbase.regionserver.info.port", "44445");
			config.set("hbase.master.distributed.log.replay", "false");
			config.set("hbase.cluster.distributed", "false");
			config.set("hbase.master.distributed.log.splitting", "false");
			config.set("hbase.zookeeper.property.clientPort", "10235");
			config.set("zookeeper.znode.parent", "/hbase");

			miniHBaseCluster = new MiniHBaseCluster(config, 1);
			miniHBaseCluster.startMaster();
			...

MiniZookeeprCluster在客户端端口10235上启动，所有客户端连接都将在此端口上。 确保将hbase服务器端口配置为不与其他本地hbase服务器冲突。 在这里，我们仅在测试案例中启动一台hbase区域服务器。

使用Spring数据的HBase模板

我们将使用Spring hbase模板连接到HBase集群： 

<hdp:hbase-configuration id="hbaseConfiguration" configuration-ref="hadoopConfiguration" stop-proxy="false" delete-connection="false" zk-quorum="localhost" zk-port="10235">
	</hdp:hbase-configuration>
	<bean id="hbaseTemplate" class="org.springframework.data.hadoop.hbase.HBaseTemplate" p:configuration-ref="hbaseConfiguration" />

HBase表架构设计

我们具有以下格式的搜索点击事件JSON数据， 

{"eventid":"24-1399386809805-629e9b5f-ff4a-4168-8664-6c8df8214aa7","hostedmachinename":"192.168.182.1330","pageurl":"http://blahblah:/5&quot ;,"customerid":24,"sessionid":"648a011d-570e-48ef-bccc-84129c9fa400","querystring":null,"sortorder":"desc","pagenumber":3,"totalhits":28,"hitsshown":7,"createdtimestampinmillis":1399386809805,"clickeddocid":"41","favourite":null,"eventidsuffix":"629e9b5f-ff4a-4168-8664-6c8df8214aa7","filters":[{"code":"searchfacettype_color_level_2","value":"Blue"},{"code":"searchfacettype_age_level_2","value":"12-18 years"}]}

处理数据的一种方法是将其直接存储在一个列族和json列下。 这样扫描json数据将变得不那么容易和灵活。 另一种选择是将其存储在一个列族下，但具有不同的列。 但是将过滤器数据存储在单列中将很难进行扫描。 下面的混合方法是将其划分为多个列族，并动态生成用于过滤器数据的列。

转换后的架构为： 

{
"client:eventid" => "24-1399386809805-629e9b5f-ff4a-4168-8664-6c8df8214aa7",
"client:eventidsuffix" => "629e9b5f-ff4a-4168-8664-6c8df8214aa7",
"client:hostedmachinename" => "192.168.182.1330",
"client:pageurl" => "http://blahblah:/5",
"client:createdtimestampinmillis" => 1399386809805,
"client:cutomerid" => 24,
"client:sessionid" => "648a011d-570e-48ef-bccc-84129c9fa400",
"search:querystring" => null,
"search:sortorder" => desc,
"search:pagenumber" => 3,
"search:totalhits" => 28,
"search:hitsshown" => 7,
"search:clickeddocid" => "41",
"search:favourite" => null,
"filters:searchfacettype_color_level_2" => "Blue",
"filters:searchfacettype_age_level_2" => "12-18 years"
}

将创建以下三列系列：

  • client ：存储事件的客户和客户数据特定信息。
  • search ：与查询字符串和分页信息有关的搜索信息存储在此处。
  • 过滤器：为了将来支持更多构面等，并更灵活地扫描数据，将基于构面名称/代码动态创建列名称，并将列值存储为构面过滤器值。

要创建hbase表， 

...
		TableName name = TableName.valueOf("searchclicks");
		HTableDescriptor desc = new HTableDescriptor(name);
		desc.addFamily(new HColumnDescriptor(HBaseJsonEventSerializer.COLUMFAMILY_CLIENT_BYTES));
		desc.addFamily(new HColumnDescriptor(HBaseJsonEventSerializer.COLUMFAMILY_SEARCH_BYTES));
		desc.addFamily(new HColumnDescriptor(HBaseJsonEventSerializer.COLUMFAMILY_FILTERS_BYTES));
		try {
			HBaseAdmin hBaseAdmin = new HBaseAdmin(miniHBaseCluster.getConf());
			hBaseAdmin.createTable(desc);
			hBaseAdmin.close();
		} catch (IOException e) {
			throw new RuntimeException(e);
		}
		...

在创建表时已添加了相关列族，以支持新的数据结构。 通常，建议尽量减少列族的数量，并牢记如何根据使用情况来构造数据。 根据以上示例，我们将扫描场景保持为：

  • 如果您想根据网站上的总访问量信息来检索客户或客户信息，请扫描客户家庭。
  • 扫描搜索信息以查看最终客户正在寻找哪些免费文本搜索，而导航搜索却无法满足这些需求。 请参阅在哪个页面上单击了相关产品，您是否需要加强应用才能将产品推高。
  • 扫描过滤器系列，以了解导航搜索如何为您工作。 是否为最终客户提供他们想要的产品。 查看更多点击哪些构面过滤器，您是否需要在订购中提高一点以便于客户轻松使用。
  • 应避免在家庭之间进行扫描，而应使用行键设计来获得特定的客户信息。
行键设计信息

在我们的例子中，行键设计基于customerId-timestamp -randomuuid 。 由于所有列族的行键都相同，因此我们可以使用“前缀过滤器”对仅与特定客户相关的行进行过滤。 

final String eventId = customerId + "-" +  searchQueryInstruction.getCreatedTimeStampInMillis() + "-" + searchQueryInstruction.getEventIdSuffix();
...
byte[] rowKey = searchQueryInstruction.getEventId().getBytes(CHARSET_DEFAULT);
...
# 24-1399386809805-629e9b5f-ff4a-4168-8664-6c8df8214aa7

这里的每个列族都有相同的行键，并且您可以使用前缀过滤器仅扫描特定客户的行。

水槽整合

HBaseSink用于将搜索事件数据直接存储到HBase。 检查详细信息FlumeHBaseSinkServiceImpl.java 

...
		channel = new MemoryChannel();
		Map<String, String> channelParamters = new HashMap<>();
		channelParamters.put("capacity", "100000");
		channelParamters.put("transactionCapacity", "1000");
		Context channelContext = new Context(channelParamters);
		Configurables.configure(channel, channelContext);
		channel.setName("HBaseSinkChannel-" + UUID.randomUUID());

		sink = new HBaseSink();
		sink.setName("HBaseSink-" + UUID.randomUUID());
		Map<String, String> paramters = new HashMap<>();
		paramters.put(HBaseSinkConfigurationConstants.CONFIG_TABLE, "searchclicks");
		paramters.put(HBaseSinkConfigurationConstants.CONFIG_COLUMN_FAMILY, new String(HBaseJsonEventSerializer.COLUMFAMILY_CLIENT_BYTES));
		paramters.put(HBaseSinkConfigurationConstants.CONFIG_BATCHSIZE, "1000");
		paramters.put(HBaseSinkConfigurationConstants.CONFIG_SERIALIZER, HBaseJsonEventSerializer.class.getName());

		Context sinkContext = new Context(paramters);
		sink.configure(sinkContext);
		sink.setChannel(channel);

		sink.start();
		channel.start();
		...

客户端列系列仅用于HBaseSink的验证。

HBaseJsonEventSerializer

创建自定义序列化器以存储JSON数据： 

public class HBaseJsonEventSerializer implements HBaseEventSerializer {
		public static final byte[] COLUMFAMILY_CLIENT_BYTES = "client".getBytes();
		public static final byte[] COLUMFAMILY_SEARCH_BYTES = "search".getBytes();
		public static final byte[] COLUMFAMILY_FILTERS_BYTES = "filters".getBytes();
		...
		byte[] rowKey = searchQueryInstruction.getEventId().getBytes(CHARSET_DEFAULT);
		Put put = new Put(rowKey);

		// Client Infor
		put.add(COLUMFAMILY_CLIENT_BYTES, "eventid".getBytes(), searchQueryInstruction.getEventId().getBytes());
		...
		if (searchQueryInstruction.getFacetFilters() != null) {
			for (SearchQueryInstruction.FacetFilter filter : searchQueryInstruction.getFacetFilters()) {
				put.add(COLUMFAMILY_FILTERS_BYTES, filter.getCode().getBytes(),filter.getValue().getBytes());
			}
		}
		...

检查更多详细信息， HBaseJsonEventSerializer.java

事件主体从Json转换为Java bean，并进一步处理数据以在相关的列系列中进行序列化。

查询原始单元格数据

要查询原始单元格数据： 

...
		Scan scan = new Scan();
		scan.addFamily(HBaseJsonEventSerializer.COLUMFAMILY_CLIENT_BYTES);
		scan.addFamily(HBaseJsonEventSerializer.COLUMFAMILY_SEARCH_BYTES);
		scan.addFamily(HBaseJsonEventSerializer.COLUMFAMILY_FILTERS_BYTES);
		List<String> rows = hbaseTemplate.find("searchclicks", scan,
				new RowMapper<String>() {
					@Override
					public String mapRow(Result result, int rowNum) throws Exception {
						return Arrays.toString(result.rawCells());
					}
				});
		for (String row : rows) {
			LOG.debug("searchclicks table content, Table returned row: {}", row);
		}

检查HBaseServiceImpl.java以获得详细信息。

数据以以下格式存储在hbase中： 

searchclicks table content, Table returned row: [84-1404832902498-7965306a-d256-4ddb-b7a8-fd19cdb99923/client:createdtimestampinmillis/1404832918166/Put/vlen=13/mvcc=0, 84-1404832902498-7965306a-d256-4ddb-b7a8-fd19cdb99923/client:customerid/1404832918166/Put/vlen=2/mvcc=0, 84-1404832902498-7965306a-d256-4ddb-b7a8-fd19cdb99923/client:eventid/1404832918166/Put/vlen=53/mvcc=0, 84-1404832902498-7965306a-d256-4ddb-b7a8-fd19cdb99923/client:hostedmachinename/1404832918166/Put/vlen=16/mvcc=0, 84-1404832902498-7965306a-d256-4ddb-b7a8-fd19cdb99923/client:pageurl/1404832918166/Put/vlen=19/mvcc=0, 84-1404832902498-7965306a-d256-4ddb-b7a8-fd19cdb99923/client:sessionid/1404832918166/Put/vlen=36/mvcc=0, 84-1404832902498-7965306a-d256-4ddb-b7a8-fd19cdb99923/filters:searchfacettype_product_type_level_2/1404832918166/Put/vlen=7/mvcc=0, 84-1404832902498-7965306a-d256-4ddb-b7a8-fd19cdb99923/search:hitsshown/1404832918166/Put/vlen=2/mvcc=0, 84-1404832902498-7965306a-d256-4ddb-b7a8-fd19cdb99923/search:pagenumber/1404832918166/Put/vlen=1/mvcc=0, 84-1404832902498-7965306a-d256-4ddb-b7a8-fd19cdb99923/search:querystring/1404832918166/Put/vlen=13/mvcc=0, 84-1404832902498-7965306a-d256-4ddb-b7a8-fd19cdb99923/search:sortorder/1404832918166/Put/vlen=3/mvcc=0, 84-1404832902498-7965306a-d256-4ddb-b7a8-fd19cdb99923/search:totalhits/1404832918166/Put/vlen=2/mvcc=0]

查询过去一个小时的前10个搜索查询字符串

要仅查询搜索字符串，我们只需要搜索列族。 要在时间范围内进行扫描，我们可以使用client列系列创建的timestampinmillis列，但这将是扩展扫描。 

...
		Scan scan = new Scan();
		scan.addColumn(HBaseJsonEventSerializer.COLUMFAMILY_CLIENT_BYTES, Bytes.toBytes("createdtimestampinmillis"));
		scan.addColumn(HBaseJsonEventSerializer.COLUMFAMILY_SEARCH_BYTES, Bytes.toBytes("querystring"));
		List<String> rows = hbaseTemplate.find("searchclicks", scan,
				new RowMapper<String>() {
					@Override
					public String mapRow(Result result, int rowNum) throws Exception {
						String createdtimestampinmillis = new String(result.getValue(HBaseJsonEventSerializer.COLUMFAMILY_CLIENT_BYTES, Bytes.toBytes("createdtimestampinmillis")));
						byte[] value = result.getValue(HBaseJsonEventSerializer.COLUMFAMILY_SEARCH_BYTES, Bytes.toBytes("querystring"));
						String querystring = null;
						if (value != null) {
							querystring = new String(value);
						}
						if (new DateTime(Long.valueOf(createdtimestampinmillis)).plusHours(1).compareTo(new DateTime()) == 1 && querystring != null) {
							return querystring;
						}
						return null;
					}
				});
		...
		//sort the keys, based on counts collection of the query strings.
		List<String> sortedKeys = Ordering.natural().onResultOf(Functions.forMap(counts)).immutableSortedCopy(counts.keySet());
		...

查询过去一个小时的前10个搜索方面过滤器

基于动态列创建，您可以扫描数据以返回点击次数最高的构面过滤器。

动态列将基于您的方面代码，这些代码可以是以下任意一种： 

#searchfacettype_age_level_1
	#searchfacettype_color_level_2
	#searchfacettype_brand_level_2
	#searchfacettype_age_level_2
	for (String facetField : SearchFacetName.categoryFacetFields) {
		scan.addColumn(HBaseJsonEventSerializer.COLUMFAMILY_FILTERS_BYTES, Bytes.toBytes(facetField));
	}

检索到： 

...
	hbaseTemplate.find("searchclicks", scan, new RowMapper<String>() {
			@Override
			public String mapRow(Result result, int rowNum) throws Exception {
				for (String facetField : SearchFacetName.categoryFacetFields) {
					byte[] value = result.getValue(HBaseJsonEventSerializer.COLUMFAMILY_FILTERS_BYTES, Bytes.toBytes(facetField));
					if (value != null) {
						String facetValue = new String(value);
						List<String> list = columnData.get(facetField);
						if (list == null) {
							list = new ArrayList<>();
							list.add(facetValue);
							columnData.put(facetField, list);
						} else {
							list.add(facetValue);
						}
					}
				}
				return null;
			}
		});
		...

您将获得所有构面的完整列表，可以进一步处理数据以计算顶面并对其进行排序。 有关完整的详细信息，请检查HBaseServiceImpl.findTopTenSearchFiltersForLastAnHour

获取客户的最近搜索查询字符串

如果需要检查客户当前正在寻找什么，我们可以在“客户”和“搜索”之间的两个列族之间创建扫描。 或者，另一种方式是设计行键，以便为您提供相关信息。 在我们的例子中，行键设计基于CustomerId_timestamp _randomuuid。 由于所有列族的行键都相同，因此我们可以使用“前缀过滤器”对仅与特定客户相关的行进行过滤。 

final String eventId = customerId + "-" +  searchQueryInstruction.getCreatedTimeStampInMillis() + "-" + searchQueryInstruction.getEventIdSuffix();
...
byte[] rowKey = searchQueryInstruction.getEventId().getBytes(CHARSET_DEFAULT);
...
# 84-1404832902498-7965306a-d256-4ddb-b7a8-fd19cdb99923

要扫描特定客户的数据， 

...
		Scan scan = new Scan();
		scan.addColumn(HBaseJsonEventSerializer.COLUMFAMILY_SEARCH_BYTES, Bytes.toBytes("customerid"));
		Filter filter = new PrefixFilter(Bytes.toBytes(customerId + "-"));
		scan.setFilter(filter);
		...

有关详细信息，请检查HBaseServiceImpl.getAllSearchQueryStringsByCustomerInLastOneMonth

希望这可以帮助您入门HBase模式设计和处理数据。

翻译自: https://www.javacodegeeks.com/2014/07/hbase-generating-search-click-events-statistics-for-customer-behavior.html

dnc8371
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据平台之用户行为分析平台
08-24
用户行为分析平台是基于大数据Hadoop生态构建的平台，本文档包括的内容如下： 1. 大数据基础知识介绍 2. Hadoop介绍 3. Hive介绍 4. Flume介绍 5. 用户行为分析平台介绍
Bigram-Counting-with-HBase:使用 HBase 进行 Bigram 计数
06-23
此项目可以应用于各种场景，如社交媒体分析、用户行为追踪、推荐系统等，通过统计频繁出现的Bigram来发现潜在的关联或模式。 总结，使用HBase进行Bigram计数结合了大数据存储与处理的优势，实现了高效、实时的文本...
【Activiti学习三】--基于SSM整合Activiti之创建数据库表
This My Life - chisj
04-10 1840
【Activiti学习三】--基于SSM整合Activiti之创建数据库表 1、导入Activiti所需Jar包 2、创建spring-activiti.xml配置文件 3、创建数据库表 参考资料  1、导入Activiti所需Jar包&lt;!-- activiti 工作流 --&gt; &lt;dependency&gt; &lt;groupId&gt;org.activiti&lt;/...
spring结合hbase
ycccsdn的博客
05-23 891
依赖 <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-hadoop</artifactId> <version>2.5.0.RE...
Hbase案例：浏览器用户行为分析
tianlianchao1982的专栏
05-10 3029
场景：     互联网软件跟踪收集用户的操作行为，从而对软件进行更加合理和人性化的修改和设计，例如chrome浏览器中用户最常用的按钮是哪些，浏览器中的按钮位置该如何排放？这些都需要收集用户的操作行为进行统计分析，最后确定浏览器的按钮如何排放，如何更加方便用户，让用户感觉很亲近，这点很重要哦^_^，用户很可能因为你的浏览器的某个功能很方便才会长久的使用下去（至少我是这样的） 既然需要收
用户行为日志导入到HBase表
风情
04-26 2089
userlog.txt1524723368732 15833995577 00-50-56-C0-00-08 192.168.106.1 视频网站 100 200 1524723368732 15833995577 00-50-56-C0-00-08 192.168.106.1 视频网站 100 200 1524723368732 15833995577 00-50-56-C0-00-08 192...
java基于spark streaming和kafka，hbase的日志统计分析系统.rar
12-23
- **数据处理**：Spark Streaming消费者从Kafka主题中拉取消息，对数据进行实时处理，例如统计特定事件的发生频率、用户行为分析等。 - **数据存储**：处理后的结果存储在HBase中，以供后续查询和分析。 - **数据...
基于spark streaming和kafka，hbase的日志统计分析系统.zip
最新发布
03-14
Spark Streaming消费这些日志，进行实时分析，例如统计特定事件的出现次数、用户行为分析等；最后，Spark Streaming将处理结果写入HBase，以便后续查询。 值得注意的是，Spark Streaming与Kafka的集成非常紧密，...
HBase-coprocessor.pptx
01-12
HBase Coprocessor 是一个强大的功能，它为HBase提供了一种扩展机制，使得用户可以在不修改核心代码的情况下，实现对HBase的操作进行自定义处理。Coprocessor 分为Observer和Endpoint两大类，它们各自有其特定的使用...
基于Hadoop-HBase的一淘搜索离线系统.rar
09-06
在一淘搜索离线系统中，HBase可能用于存储商品信息、用户行为数据等，通过行键进行快速定位，时间戳则用于追踪数据的历史版本。 系统的构建通常包括以下几个步骤： 1. **数据采集**：从各种源头收集数据，如交易...
java实现百度排名检索自动获取排名地址并点击访问
09-11
主要是根据指定关键词获取手机端访问指定前几页的排名检索情况，指定关键词和指定要进行获取指定域名的排名情况并进行点击访问。
用户行为分析系统
12-17
用java开发的基于淘宝的 用户行为分析系统
hbase记录用户访问日志
qq_32532853的博客
12-30 6371
我们目前对每天的用户访问量，用户活跃度的统计仅仅是用growingIO，统计得不是很准确。因此需要自己在后台做用户访问记录，以便分析用户行为，选择hbase数据库做用户行为记录。 hbase数据库里面，每个系统每天的访问日志记录在一张表上，由于hbase只能按照rowkey来快速检索数据，并且rowkey是按照字典顺序保存的，是占用内存的。因此日志表的rowkey的设计就是重点了。最终采用的方案
网站用户行为分析——HBase的安装与配置
weixin_30681615的博客
07-30 211
Hbase介绍 　　HBase是一个分布式的、面向列的开源数据库,源于Google的一篇论文《BigTable：一个结构化数据的分布式存储系统》。HBase以表的形式存储数据，表有行和列组成，列划分为若干个列族/列簇(column family)。欲了解HBase的官方资讯，请访问[HBase官方网站](http://hbase.apache.org/)。 HBase的运行有三种模式：...
hbase在海量用户日志中快速查询访问路径的使用场景
算法与数据挖掘
04-23 416
1.背景：之前公司客服部门有个查看游戏用户行为记录的需求，开始我给他们做了个hive的接口，可以暂时满足需求，但是查询速度太慢，得一分钟出结果。 后来我在想能不能用hbase快速查询出用户路径。 查询条件有通行证账号、行为类型、时间范围。 2.设计方案：用hbase的scan接口，hbase的key设计成 通行证账号_行为类型_时间 用如下方式查询：scan 'hbase_gameCent...
hbase常用查询总结
jarth的专栏
10-18 2011
1、巧妙的数据行数查询 显然hbase做count是个非常困难的事，所以有时要查一个ID的时间段的次数，就可以结合STARTROW -STOPROW还结合着做，可以指定一个列加快查询速度。说明：此处是rowkey = busNo+time+5位随机数。 scan 'HBS_TEMP:HB_BUS_WARNING_LOG_A',{COLUMNS =>'D:busNo', STARTROW =>'
藏经阁-亿级广告事件预测系统构建之道.pdf
08-30
xTR是对视频广告中特定事件发生概率的预测，如注册、加载等，相较于传统的CTR（click-through rate，点击率）预测，它关注的是更深层次的用户交互行为，从而更好地评估广告的效果。xTR预测系统对于视频广告行业尤其...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值