![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
loong-judge
生活也是一门艺术
展开
-
使用hbase来解决上亿条数据的准实时响应
使用hbase来解决亿级数据的准实时响应项目中的app行为日志,用户授权收集的通讯录、通话记录、短信和联系人信息,随着时间的推进,数据量进入亿数据级,千万级的创建索引,来加快查询速度的优化方式,此时可能已经不起作用了。为解决信审阶段实时的查询请求,引入hbase来解决响应慢的问题。When Should I Use HBase?HBase isn’t suitable for every p...原创 2018-03-30 00:03:42 · 7456 阅读 · 0 评论 -
hadoop(HA)、hbase(HA)、hive安装
---------------------------------------------HOSTNAME zhaixl2mac 00:50:56:2b:fb:ac ip 192.168.72.12HOSTNAME zhaixl1mac 00:0c:29:b6:25:ffip 192.168.72.11先设置好一台javaip 可以上网关闭防火墙[root@bigdat...原创 2018-03-31 17:22:14 · 1479 阅读 · 0 评论 -
elasticsearch 体验,
elastic search 是高可用、开源、富文本的搜索和分析引擎。支持大数据量快速近实时的存储、搜索和分析。通常用作支持复杂查询的底层引擎/技术,为具有复杂搜索特性和需求的应用程序提供动力。官网网站中的 Elasticsearch documentation解说的十分详细。但都是英文的,没办法外国人写的,先学习借鉴吧。--index mapping-- curl -XPUT http...原创 2018-03-31 18:38:39 · 223 阅读 · 0 评论 -
spark1.5.1源码学习初探
如果hadoop源码中的Hadoop RPC通信把你搞得晕头转向,来搞spark吧。spark是scala语言实现的,早期的通讯使用的是akka通讯,后面默认是netty,spark2.X将彻底被弃用(说的重点不是netty代替了akka,而是akka让十分方便我们了解spark通讯细节)。第一 scala语言比java更简洁;第二 akka通讯框架,更方便查找sender和recei...原创 2018-04-01 23:02:40 · 193 阅读 · 0 评论