上一篇文章:我要上谷歌
Mysql,关系型数据库;
HBase,NoSql数据库。
查询Mysql和查询HBase,到底哪个速度快呢?
与一些真正的大牛讨论时,他们说HBase写入速度,可以达到每秒1W。而HBase的理想速度为每秒10W。
来个实验说明一下,此实验只能表明,当前环境下运行状态。我的实验效果,没有到1W,还在优化中…
环境:
有3台虚拟机,运行Hadoop集群;3台虚拟机也在跑HBase:master,node1,node2
master上,同时安装了Mysql数据库。
目前有这样一个需求:
有一堆文本文件,每个文本文件内,存储着日志;
每一行为一条记录;
现在需要,逐行读取记录,并根据记录中的mac地址和sn号,去从HBase或Mysql中,获取账号信息。
然后合并成一条记录,写入HBase的“SHUJU”表内。
Mysql表结构:
id,mac,sn,addtime,account
HBase表结构:
ROWKEY为mac+sn,mac,sn,account,addtime
测试效果如下:
每隔一分钟,执行一次count操作,统计当前数据条数。
select count(1) from SHUJ