HBase专栏
L先生AI课堂
李虎,联想集团PCSD业务UDS平台推荐算法团队开发负责人,曾获2018-2019年度联想集团中国区优秀员工。在联想内部,做过多次企业内训和技术支持,并在北京线下技术沙龙分享会上作为演讲嘉宾分享算法实战应用效果,拥有丰富的线上,线下培训经验。对机器学习,深度学习算法建模,推荐系统,大数据有多年的实际经验。CSDN博客专家,著有大白话算法系列,以通俗生动的方式讲解人工智能前沿算法。愿景是打造全网AI最通俗教学,赠人玫瑰,手有余香,在人工智能前行的路上一起前行,以通俗简洁详细的方式,让每一位热爱着深入其中。空间有形、梦想无限!加油!
展开
-
HBase篇--搭建HBase完全分布式集群
一.前述。 完全分布式基于hadoop集群和Zookeeper集群。所以在搭建之前保证hadoop集群和Zookeeper集群可用。可参考本人博客地址 https://www.cnblogs.com/LHWorldBlog/p/8232935.html搭建hadoop集群 二.集群规划。 说明:因为HMaster主节点和从节点不会自动切换,所以需要互相配置免密,并且配置从主节点到从节点原创 2018-01-15 23:19:23 · 801 阅读 · 0 评论 -
HBase篇--HBase常用优化
一.前述HBase优化能够让我们对调优有一定的理解,当然企业并不是所有的优化全都用,优化还要根据业务具体实施。二.具体优化1.表的设计 1.1 预分区 默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions,这原创 2018-01-17 21:26:39 · 540 阅读 · 0 评论 -
Hbase篇--Hbase和MapReduce结合Api
一.前述Mapreduce可以自定义Inputforma对象和OutPutformat对象,所以原理上Mapreduce可以和任意输入源结合。二.步骤将结果写会到hbase中去。 2.1 Main函数import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.had原创 2018-01-17 21:27:04 · 632 阅读 · 0 评论 -
Hbase篇--HBase中一对多和多对多的表设计
一.前述今天分享一篇关于HBase的一对多和多对多的案例的分析。二.具体案例案例一.多对多 人员-角色 人员有多个角色 角色优先级 角色有多个人员 人员 删除添加角色 角色 可以添加删除人员 人员 角色 删除添加 PS:说明,两张表User表和Role表, User表中定义两个列族,第一个列族是名字,第二个列族中 多个列定义为具体的角色,列的内容定义为具体的值,即优先级(这里利用原创 2018-01-17 21:28:59 · 5388 阅读 · 1 评论 -
HBase篇--HBase操作Api和Java操作Hbase相关Api
========================================================声明:由于不同平台源码阅读格式不一致,所以获取更多阅读体验!!请关注本人博客园地址:http://www.cnblogs.com/LHWorldBlog/p/8297706.html个人网站地址:http://www.lhworldblog.com/2018/01/18/hbase===原创 2018-01-17 21:25:43 · 528 阅读 · 0 评论 -
Hive篇---Hive与Hbase整合
========================================================= 声明:由于不同平台阅读格式不一致(尤其源码部分),所以获取更多阅读体验!! 请关注本人博客园地址:http://www.cnblogs.com/LHWorldBlog/ 个人网站地址:http://www.lhworldblog.com/2018/01/27/ =====原创 2018-01-27 00:09:03 · 647 阅读 · 0 评论