HBase 实战之谷粒微博

于 2021-12-21 16:23:13 发布
阅读量608 收藏 3
点赞数 1
分类专栏： Hbase 文章标签： hbase java 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44966780/article/details/122064747
版权

HBase 实战之谷粒微博

需求分析

  1. 微博内容的浏览，数据库表设计
  2. 用户社交体现：关注用户，取关用户
  3. 拉取关注的人的微博内容

代码实现

代码设计总览：

  1. 创建命名空间以及表名的定义
  2. 创建微博内容表
  3. 创建用户关系表
  4. 创建用户微博内容接收邮件表
  5. 发布微博内容
  6. 添加关注用户
  7. 移除（取关）用户
  8. 获取关注的人的微博内容
  9. 测试
创建命名空间以及表名的定义
//获取配置 conf
private Configuration conf = HbaseConfiguration.create();
//微博内容表的表名
private static final byte[] TABLE_CONTENT = Bytes.toBytes("weibo:content");
//用户关系表的表名
private static final byte[] TABLE_RELATIONS = Bytes.toBytes("weibo:relations");
//微博收件箱表的表名
private static final byte[] TABLE_RECEIVE_CONTENT_EMAIL = Bytes.toBytes("weibo:receive_content_email");

public void initNamespace(){
	HbaseAdmin admin = null;
	try {
		admin = new HbaseAdmin(conf);
		//命名空间类似于关系型数据库中的 schema，可以想象成文件夹
		NamespaceDescriptor weibo = NamespaceDescriptor
		.create("weibo")
		.addConfiguration("creator", "Jinji")
		.addConfiguration("create_time", 
		System.currentTimeMillis() + "")
		.build();
		admin.createNamespace(weibo);
	} catch (Exception e) {
		e.printStackTrace();
	}finally{
		if(null != admin){
			try {
				admin.close();
			} catch (Exception e) {
				e.printStackTrace();
			}
		}
	}
}
创建微博内容表

表结构：

方法名creatTableeContent
Table Nameweibo:content
RowKey用户 ID_时间戳
ColumnFamilyinfo
ColumnLabel标题,内容,图片
Version1 个版本
public void createTableContent(){
	HbaseAdmin admin = null;
	try {
		admin = new HbaseAdmin(conf);
		//创建表表述
		HTableDescriptor content = new HTableDescriptor(TableName.valueOf(TABLE_CONTENT));
		//创建列族描述
		HColumnDescriptor info = new HColumnDescriptor(Bytes.toBytes("info"));
		//设置块缓存
		info.setBlockCacheEnabled(true);
		//设置块缓存大小
		info.setBlocksize(2097152);
		//设置压缩方式
		// info.setCompressionType(Algorithm.SNAPPY);
		//设置版本确界
		info.setMaxVersions(1);
		info.setMinVersions(1);
		content.addFamily(info);
		admin.createTable(content);
	} catch (MasterNotRunningException e) {
		e.printStackTrace();
	} catch (ZooKeeperConnectionException e) {
		e.printStackTrace();
	} catch (IOException e) {
		e.printStackTrace();
	}finally{
		if(null != admin){
			try {
				admin.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
		}
	}
}
创建用户关系表

表结构：

方法名createTableRelations
Table Nameweibo:relations
RowKey用户 ID
ColumnFamilyattends、fans
ColumnLabel关注用户 ID，粉丝用户 ID
ColumnValue用户 ID
Version1 个版本
public void createTableRelations(){
	HbaseAdmin admin = null;
	try {
		admin = new HbaseAdmin(conf);
		HTableDescriptor relations = new HTableDescriptor(TableName.valueOf(TABLE_RELATIONS));
		//关注的人的列族
		HColumnDescriptor attends = new HColumnDescriptor(Bytes.toBytes("attends"));
		//设置块缓存
		attends.setBlockCacheEnabled(true);
		//设置块缓存大小
		attends.setBlocksize(2097152);
		//设置压缩方式
		// info.setCompressionType(Algorithm.SNAPPY);
		//设置版本确界
		attends.setMaxVersions(1);
		attends.setMinVersions(1);
		//粉丝列族
		HColumnDescriptor fans = new HColumnDescriptor(Bytes.toBytes("fans"));
		fans.setBlockCacheEnabled(true);
		fans.setBlocksize(2097152);
		fans.setMaxVersions(1);
		fans.setMinVersions(1);
		relations.addFamily(attends);
		relations.addFamily(fans);
		admin.createTable(relations);
	} catch (MasterNotRunningException e) {
		e.printStackTrace();
	} catch (ZooKeeperConnectionException e) {
		e.printStackTrace();
	} catch (IOException e) {
		e.printStackTrace();
	}finally{
		if(null != admin){
			try {
				admin.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
		}
	}
}
创建微博收件箱表

表结构：

方法名createTableReceiveContentEmails
Table Nameweibo:receive_content_email
RowKey用户 ID
ColumnFamilyinfo
ColumnLabel用户 ID
ColumnValue取微博内容的 RowKey
Version1000
public void createTableReceiveContentEmail(){
	HbaseAdmin admin = null;
	try {
		admin = new HbaseAdmin(conf);
		HTableDescriptor receive_content_email = new 	HTableDescriptor(TableName.valueOf(TABLE_RECEIVE_CONTENT_EMAIL));
		HColumnDescriptor info = new HColumnDescriptor(Bytes.toBytes("info"));
		info.setBlockCacheEnabled(true);
		info.setBlocksize(2097152);
		info.setMaxVersions(1000);
		info.setMinVersions(1000);
		receive_content_email.addFamily(info);;
		admin.createTable(receive_content_email);
	} catch (MasterNotRunningException e) {
		e.printStackTrace();
	} catch (ZooKeeperConnectionException e) {
		e.printStackTrace();
	} catch (IOException e) {
		e.printStackTrace();
	}finally{
		if(null != admin){
			try {
				admin.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
		}
	}
}
发布微博内容

a、微博内容表中添加 1 条数据
b、微博收件箱表对所有粉丝用户添加数据

public class Message {
	private String uid;
	private String timestamp;
	private String content;
	public String getUid() {
		return uid;
	}
	public void setUid(String uid) {
		this.uid = uid;
	}
	public String getTimestamp() {
		return timestamp;
	}
	public void setTimestamp(String timestamp) {
		this.timestamp = timestamp;
	}
	public String getContent() {
		return content;
	}
	public void setContent(String content) {
		this.content = content;
	}
	@Override
	public String toString() {
		return "Message [uid=" + uid + ", timestamp=" + timestamp + ", content=" + content + "]";
	}
}

/**
* 发布微博
* a、微博内容表中数据+1
* b、向微博收件箱表中加入微博的 Rowkey
*/
public void publishContent(String uid, String content){
	HConnection connection = null;
	try {
		connection = HConnectionManager.createConnection(conf);
		//a、微博内容表中添加 1 条数据，首先获取微博内容表描述
		HTableInterface contentTBL = connection.getTable(TableName.valueOf(TABLE_CONTENT));
		//组装 Rowkey
		long timestamp = System.currentTimeMillis();
		String rowKey = uid + "_" + timestamp;
		Put put = new Put(Bytes.toBytes(rowKey));
		put.add(Bytes.toBytes("info"), Bytes.toBytes("content"), timestamp, Bytes.toBytes(content));
		contentTBL.put(put);
		//b、向微博收件箱表中加入发布的 Rowkey
		//b.1、查询用户关系表，得到当前用户有哪些粉丝
		HTableInterface relationsTBL = connection.getTable(TableName.valueOf(TABLE_RELATIONS));
		//b.2、取出目标数据
		Get get = new Get(Bytes.toBytes(uid));
		get.addFamily(Bytes.toBytes("fans"));
		Result result = relationsTBL.get(get);
		List<byte[]> fans = new ArrayList<byte[]>();
		//遍历取出当前发布微博的用户的所有粉丝数据
		for(Cell cell : result.rawCells()){
			fans.add(CellUtil.cloneQualifier(cell));
		}
		//如果该用户没有粉丝，则直接 return
		if(fans.size() <= 0) return;
		//开始操作收件箱表
		HTableInterface recTBL = connection.getTable(TableName.valueOf(TABLE_RECEIVE_CONTENT_EMAIL
	));
		List<Put> puts = new ArrayList<Put>();
		for(byte[] fan : fans){
			Put fanPut = new Put(fan);
			fanPut.add(Bytes.toBytes("info"), Bytes.toBytes(uid), 
			timestamp, Bytes.toBytes(rowKey));
			puts.add(fanPut);
		}
		recTBL.put(puts);
	} catch (IOException e) {
		e.printStackTrace();
	}finally{
		if(null != connection){
			try {
				connection.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
		}
	}
}
添加关注用户

a、在微博用户关系表中，对当前主动操作的用户添加新关注的好友
b、在微博用户关系表中，对被关注的用户添加新的粉丝
c、微博收件箱表中添加所关注的用户发布的微博

public void addAttends(String uid, String... attends){
	//参数过滤
	if(attends == null || attends.length <= 0 || uid == null || uid.length() <= 0){
		return;
	}
	HConnection connection = null;
	try {
		connection = HConnectionManager.createConnection(conf);
		//用户关系表操作对象（连接到用户关系表）
		HTableInterface relationsTBL = connection.getTable(TableName.valueOf(TABLE_RELATIONS));
		List<Put> puts = new ArrayList<Put>();
		//a、在微博用户关系表中，添加新关注的好友
		Put attendPut = new Put(Bytes.toBytes(uid));
		for(String attend : attends){
			//为当前用户添加关注的人
			attendPut.add(Bytes.toBytes("attends"),Bytes.toBytes(attend), Bytes.toBytes(attend));
			//b、为被关注的人，添加粉丝
			Put fansPut = new Put(Bytes.toBytes(attend));
			fansPut.add(Bytes.toBytes("fans"), Bytes.toBytes(uid), 
			Bytes.toBytes(uid));
			//将所有关注的人一个一个的添加到 puts（List）集合中
			puts.add(fansPut);
		}
		puts.add(attendPut);
		relationsTBL.put(puts);
		//c.1、微博收件箱添加关注的用户发布的微博内容（content）的 rowkey
		HTableInterface contentTBL = connection.getTable(TableName.valueOf(TABLE_CONTENT));
		Scan scan = new Scan();
		//用于存放取出来的关注的人所发布的微博的 rowkey
		List<byte[]> rowkeys = new ArrayList<byte[]>();
		for(String attend : attends){
			//过滤扫描 rowkey，即：前置位匹配被关注的人的 uid_
			RowFilter filter = new RowFilter(CompareFilter.CompareOp.EQUAL, new SubstringComparator(attend + "_"));
			//为扫描对象指定过滤规则
			scan.setFilter(filter);
			//通过扫描对象得到 scanner
			ResultScanner result = contentTBL.getScanner(scan);
			//迭代器遍历扫描出来的结果集
			Iterator<Result> iterator = result.iterator();
			while(iterator.hasNext()){
				//取出每一个符合扫描结果的那一行数据
				Result r = iterator.next();
				for(Cell cell : r.rawCells()){
					//将得到的 rowkey 放置于集合容器中
					rowkeys.add(CellUtil.cloneRow(cell));
				}
			}
		}
		//c.2、将取出的微博 rowkey 放置于当前操作用户的收件箱中
		if(rowkeys.size() <= 0) return;
		//得到微博收件箱表的操作对象
		HTableInterface recTBL = connection.getTable(TableName.valueOf(TABLE_RECEIVE_CONTENT_EMAIL));
		//用于存放多个关注的用户的发布的多条微博 rowkey 信息
		List<Put> recPuts = new ArrayList<Put>();
		for(byte[] rk : rowkeys){
			Put put = new Put(Bytes.toBytes(uid));
			//uid_timestamp
			String rowKey = Bytes.toString(rk);
			//借取 uid
			String attendUID = rowKey.substring(0, 
			rowKey.indexOf("_"));
			long timestamp = Long.parseLong(rowKey.substring(rowKey.indexOf("_") + 1));
			//将微博 rowkey 添加到指定单元格中
			put.add(Bytes.toBytes("info"), Bytes.toBytes(attendUID), timestamp, rk);
			recPuts.add(put);
		}
		recTBL.put(recPuts);
	} catch (IOException e) {
		e.printStackTrace();
	}finally{
		if(null != connection){
			try {
				connection.close();
			} catch (IOException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}
		}
	}
}
移除（取关）用户

a、在微博用户关系表中，对当前主动操作的用户移除取关的好友(attends)
b、在微博用户关系表中，对被取关的用户移除粉丝
c、微博收件箱中删除取关的用户发布的微博

public void removeAttends(String uid, String... attends){
	//过滤数据
	if(uid == null || uid.length() <= 0 || attends == null || attends.length <= 0) return;
	HConnection connection = null;
	try {
		connection = HConnectionManager.createConnection(conf);
		//a、在微博用户关系表中，删除已关注的好友
		HTableInterface relationsTBL = connection.getTable(TableName.valueOf(TABLE_RELATIONS));
		//待删除的用户关系表中的所有数据
		List<Delete> deletes = new ArrayList<Delete>();
		//当前取关操作者的 uid 对应的 Delete 对象
		Delete attendDelete = new Delete(Bytes.toBytes(uid));
		//遍历取关，同时每次取关都要将被取关的人的粉丝-1
		for(String attend : attends){
			attendDelete.deleteColumn(Bytes.toBytes("attends"),Bytes.toBytes(attend));
			//b
			Delete fansDelete = new Delete(Bytes.toBytes(attend));
			fansDelete.deleteColumn(Bytes.toBytes("fans"), 
			Bytes.toBytes(uid));
			deletes.add(fansDelete);
		}
		deletes.add(attendDelete);
		relationsTBL.delete(deletes);
		//c、删除取关的人的微博 rowkey 从 收件箱表中
		HTableInterface recTBL = connection.getTable(TableName.valueOf(TABLE_RECEIVE_CONTENT_EMAIL));
		Delete recDelete = new Delete(Bytes.toBytes(uid));
		for(String attend : attends){
			recDelete.deleteColumn(Bytes.toBytes("info"), 
			Bytes.toBytes(attend));
		}
		recTBL.delete(recDelete);
	} catch (IOException e) {
		e.printStackTrace();
	}
}
获取关注的人的微博内容

a、从微博收件箱中获取所关注的用户的微博 RowKey
b、根据获取的 RowKey，得到微博内容

public List<Message> getAttendsContent(String uid){
	HConnection connection = null;
	try {
		connection = HConnectionManager.createConnection(conf);
		HTableInterface recTBL = connection.getTable(TableName.valueOf(TABLE_RECEIVE_CONTENT_EMAIL));
		//a、从收件箱中取得微博 rowKey
		Get get = new Get(Bytes.toBytes(uid));
		//设置最大版本号
		get.setMaxVersions(5);
		List<byte[]> rowkeys = new ArrayList<byte[]>();
		Result result = recTBL.get(get);
		for(Cell cell : result.rawCells()){
			rowkeys.add(CellUtil.cloneValue(cell));
		}
		//b、根据取出的所有 rowkey 去微博内容表中检索数据
		HTableInterface contentTBL = connection.getTable(TableName.valueOf(TABLE_CONTENT));
		List<Get> gets = new ArrayList<Get>();
		//根据 rowkey 取出对应微博的具体内容
		for(byte[] rk : rowkeys){
			Get g = new Get(rk);
			gets.add(g);
		}
		//得到所有的微博内容的 result 对象
		Result[] results = contentTBL.get(gets);
		List<Message> messages = new ArrayList<Message>();
		for(Result res : results){
			for(Cell cell : res.rawCells()){
				Message message = new Message();
				String rowKey = Bytes.toString(CellUtil.cloneRow(cell));
				String userid = rowKey.substring(0, rowKey.indexOf("_"));
				String timestamp = rowKey.substring(rowKey.indexOf("_") + 1);
				String content = Bytes.toString(CellUtil.cloneValue(cell));
				message.setContent(content);
				message.setTimestamp(timestamp);
				message.setUid(userid);
				messages.add(message);
			}
		}
		return messages;
	} catch (IOException e) {
		e.printStackTrace();
	}finally{
		try {
			connection.close();
		} catch (IOException e) {
			e.printStackTrace();
		}
	}
	return null;
}
测试

– 测试发布微博内容
public void testPublishContent(WeiBo wb)
– 测试添加关注
public void testAddAttend(WeiBo wb)
– 测试取消关注
public void testRemoveAttend(WeiBo wb)
– 测试展示内容
public void testShowMessage(WeiBo wb)

public void testPublishContent(WeiBo wb){
	wb.publishContent("0001", "今天买了一包空气，送了点薯片，非常开心！！");
	wb.publishContent("0001", "今天天气不错。");
}
public void testAddAttend(WeiBo wb){
	wb.publishContent("0008", "准备下课！");
	wb.publishContent("0009", "准备关机！");
	wb.addAttends("0001", "0008", "0009");
}
public void testRemoveAttend(WeiBo wb){
	wb.removeAttends("0001", "0008");
}
public void testShowMessage(WeiBo wb){
	List<Message> messages = wb.getAttendsContent("0001");
	for(Message message : messages){
		System.out.println(message);
	}
}
public static void main(String[] args) {
	WeiBo weibo = new WeiBo();
	weibo.initTable();
	weibo.testPublishContent(weibo);
	weibo.testAddAttend(weibo);
	weibo.testShowMessage(weibo);
	weibo.testRemoveAttend(weibo);
	weibo.testShowMessage(weibo);
}
SuperQiu~
关注
专栏目录
大数据技术之_11_HBase学习_03_HBase 实战之谷粒微博(练习API) + 扩展知识(布隆过滤器+HBase2.0 新特性)
黑泽君
03-09 735
大数据技术之_11_HBase学习_03_HBase 实战之谷粒微博(练习API) + 扩展知识(布隆过滤器+HBase2.0 新特性)
【14笔记】HBase实战--微博案例
fu-jw的博客
03-06 5114
1、需求分析 1、微博内容的浏览，数据库表设计 2、用户社交体现：关注用户，取关用户 3、拉取关注的人的微博内容 2、代码设计 1）创建命名空间以及表名的定义 2）创建微博内容表 3）创建用户关系表 4）创建用户微博内容接收邮件表 5）发布微博内容 6）添加关注用户 7）移除（取关）用户 8）获取关注的人的微博内容 9）测试 1）创建命名空间以及表名的定义 //获取配置conf priva...
Hbase 实战之谷粒微博
weixin_33744141的博客
06-15 443
Hbase 实战之谷粒微博 1 需求分析 1) 微博内容的浏览，数据库表设计 2) 用户社交体现：关注用户，取关用户 3) 拉取关注的人的微博内容 2 代码实现 2.1 代码设计总览： 1) 创建命名空间以及表名的定义 2) 创建微博内容表 3) 创建用户关系表 4) 创建用户微博内容接收邮件表 5) 发布微博内容 6) ...
HBase实战
...
08-24 145
[b][size=medium]第一章 HBase介绍[/size][/b] HBase是一种数据库:Hadoop数据库。它经常被描述为一种稀疏的、分布式的、持久化的、多维有序的映射，它基于行键(row key)、列键(column key)和时间戳(timestamp)建立索引。 HBase基于BigTable 联机事务处理(OLTP)尽快的返回响应结果 联机分析处理(OLAP) 抓取...
HBase实现谷粒微博案例
Stray_Lambs的博客
02-27 2187
HBase实现谷粒微博案例前言一、启动集群二、功能实现1.创建工程2.constants包3.utils包3.1 createNameSpace 创建命名空间3.2 isTableExist 判断表是否存在3.3 createTable 创建表4.dao包4.1 发微博功能4.2 关注功能4.3 取消关注4.4 获得用户初始页4.5 获得用户全部微博内容5 test包 测试总结参考 前言 最近刚刚在b站上看完了尚硅谷hbase相关课程，在这里记录一下，完成这个项目遇到的坑，以及案例结果(而且不要吐槽的英语
HBase微博实战案例
TU_JCN的博客
08-10 2149
HBase微博实战案例 1 需求分析 微博内容的浏览，数据库表设计 用户社交体现：关注用户，取关用户 拉取关注的人的微博内容 2 代码实现 2.1 准备工作 第一步：创建maven工程并导入jar包 直接使用在版本确界当中创建的工程以及导入的jar包即可 第二步：拷贝三个配置文件到maven工程的下 将node01服务器的三个配置文件，分别是 core-site.xml、hdfs-site.xml、hbase-site.xml三个配置文件，拷贝到maven工程的resource
HBase视频教程下载|基于微博数据应用的HBase实战开发
01-02
课时17：使用API管理HBase之编程实战(续) 课时18：搭建分布式HBase集群之Hadoop部署 课时19：搭建分布式HBase集群之HBase部署 课时20：sqoop2部署 课时21：使用sqoop2将mysql数据导入到HBase 课时22：集群管理之...
hbase 资源合集 hbase 企业应用开发实战 权威指南 hbase 实战 hbase 应用架构
04-04
《HBase资源合集》包含了四本重量级的书籍，分别是《HBase企业应用开发实战》、《HBase权威指南》、《HBase实战》以及《HBase应用架构》。这些书籍深入浅出地探讨了HBase在大数据环境中的应用与开发，是学习和掌握...
快速学习-HBase实战之谷粒微博
逍遥云恋
02-17 561
第8章 HBase实战之谷粒微博 8.1 需求分析 微博内容的浏览，数据库表设计 用户社交体现：关注用户，取关用户 拉取关注的人的微博内容 8.2 代码实现 8.2.1 代码设计总览： 创建命名空间以及表名的定义 创建微博内容表 创建用户关系表 创建用户微博内容接收邮件表 发布微博内容 添加关注用户 移除（取关）用户 获取关注的人的微博内容 测试 8.2.2 创建命名空间以及表名的定义 /...
HBase 实战
04-04
HBase实战 HBase in Action HBase实战 HBase in Action
HBase实战（中文版）
04-29
Hbase实战中文版，适合于想了解面向列数据库和海量数据存储的读者
HBase实战(中文扫描版
09-21
学习Hadoop以及Hbase Hbase及Hadoop是开源软件的杰作
HBase实战.pdf
06-03
HBase实战.pdf
hbase 实战项目
dianxunma2886的博客
11-19 598
首先 根据 hadoop 搭建 + hbase 搭建把 环境弄好 由于 hbase 依赖于 hdfs ，所以 需要 进入 hadoop --》sbin 下 启动 start-dfs.sh , start-yarn.sh 然后 进 hbase --> 下 启动 start-hbase.sh 如果 后面 运行失败 报 找不到 zookeeper 八成 你需要进 hbase-bin-...
hbase 实战
github_28583061的博客
07-16 339
hbase 实战 一，介绍 使用场景 互联网搜索 -- BigTable发明原因 定位关系的信息--页码，主题， 抓取增量数据 抓取监控指标：OpenTSDB 抓取用户交互数据 使用hbase计数器记录网页访问次数 遥测技术--软件运行数据收集和分析（Mozilla） 广告效果与点击流 -- 用户交互数据捕获与分析 内容服务 二，入门 hbase写路径 hbase接受到命令后，存下...
Hbase实战
08-04 256
1、 背景         网站日趋成熟，用户量趋向稳定。客户想从网站产生的用户行为信息中获取一些有用的信息，以便支持决策。便有了今天《运营分析平台》这个项目，项目的主要内容包括：1、日志入库（数据库使用DB2），2、根据客户提供的规则进行一些简单的统计汇总，然后报表展示结果，这些规则一般很简单。3、对资源和 业务进行阀值实时监控预警。4、日志明细的查询。           如...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值