Hbase
文章平均质量分 52
xiaosongwahaha
这个作者很懒,什么都没留下…
展开
-
Spark和Hbase环境变量冲突解决办法
1、在Hbase访问中需要设置环境变量,因此在Hbase初始化的时候要写上: //初始化Hbase环境变量 static{ System.setProperty("HADOOP_USER_NAME", "****"); } 2、用Spark在本地计算时需要设置: SparkConf sparkConf=new SparkConf().原创 2017-12-17 14:55:42 · 362 阅读 · 0 评论 -
Java从Hbase取值分别转化为String和Map
本文上接前面文章: Hbase初始化并根据RowKey获取数据 1、重写前面的文章中的类HbaseInit.java: public class HbaseInit { private Logger logger = LoggerFactory.getLogger(HbaseInit.class); //代表转化原创 2017-12-17 14:58:51 · 2190 阅读 · 0 评论 -
Redis和Hbase互补取值思路
1、思路: 用户取数据首先从Redis中取,Redis中没有数据则将Hbase中的数据插入Redis,且在配置文件中设置redis开关redisSwitch,如果redisSwitch=true则是从Redis中取数据,否则直接从Hbase中取数据,在配置文件中设置Redis的域的有效时间effectiveTime=86400,86400s为24小时,若设置为0s则直接失效。原创 2017-12-17 14:59:57 · 999 阅读 · 0 评论 -
Hbase初始化并根据RowKey获取数据
接前面的文章“ HbaseTemplate配置进阶:利用Spring自动装配加载HbaseTemplate ” 1、java中的controller类: @Controller public class HbaseController { @Autowired private HbaseTemplate htemplate; HbaseInit hbaseInit =原创 2017-12-17 15:01:41 · 4205 阅读 · 0 评论 -
设置Hbase的环境变量
设置Hbase的系统环境变量,可直接在类的前面定义静态属性 public class GlobalPropertyConfigurer { private String confDirPath; static { System.setProperty("solr.allow.unsafe.resourceloading", "true");原创 2017-12-17 15:02:50 · 1892 阅读 · 0 评论 -
HbaseTemplate进阶:利用hbase.properties文件对Hbase的集群和端口进行配置
1、hbase.properties文件: quorum=10.46.60.** clientPort=***** 2、spring-hbase.xml配置: xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:hdp="http://www.springfr原创 2017-12-17 15:21:55 · 1886 阅读 · 0 评论 -
Hbase的shell操作
一、Hbase建表查表 Hdoop集群账号密码:10.19.219.XX 账户****** 密码:****** 1、登录Hdoop 服务器 2、输入hbase shell进入hbase命令中 3、公司只允许客户端访问Hbase的用户的表的get/put/scan/delete等权限 表结构: ns_sousuo:tdm_empower_gds_init_d,family:gds_原创 2017-12-17 15:16:22 · 197 阅读 · 0 评论 -
HbaseTemplate配置进阶:利用Spring自动装配加载HbaseTemplate
1、spring-hbase.xml配置文件: xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:hdp="http://www.springframework.org/schema/hadoop" xmlns:beans="http://www.springframewor原创 2017-12-17 15:19:56 · 5343 阅读 · 1 评论 -
访问Hbase,待更新方法一
访问Hbase的三种方法: 方法一:HbaseTemlate工具类 (1)配置文件:src\main\resources\spring-hbase.xml xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:hdp="http://www.springframework.org/sche原创 2017-12-17 15:23:59 · 393 阅读 · 0 评论