大数据
文章平均质量分 60
blog_1103
一起学习,一起进步
展开
-
Hbase的Python访问方式
# python3版本 happybase 导包pip install thriftpip install thrift-saslpip install happybase#linux里 启动 thirt服务bin/hbase-daemon.sh start thriftD:\virtual_env\virtual125\Lib\site-packages\thriftpy\...原创 2018-09-28 22:24:06 · 2563 阅读 · 5 评论 -
【hbase】使用thrift with python 访问HBase 其中出现的一个错误
下面这个错误我在这篇文章之前发了解决方法,可以翻看最近的一条文章即可上一个问题主要是修改下面的文件(最后一条报错链接点进去)在488行还有一个就是改过之后按下面方式还是连不上 是因为thrift 的server端和client端的协议不匹配造成的。(如果没有请忽略) 修改hbase-site.xml,禁用TFramedTransport和TCompactProtocol功能,即...原创 2018-09-28 22:41:00 · 645 阅读 · 0 评论 -
Hbase根据rowkey利用scan查询
1.rowkey以某个内容开头Filter filtet = new PrefixFilter("ooo".getBytes());2.rowkey字符串包含方式Filter filter = new RowFilter(CompareOp.EQUAL,new SubstringComparator("xxx"));3.rowkey匹配正则方式Filter filter2 = n...转载 2018-10-23 11:00:19 · 6878 阅读 · 1 评论 -
hbase模糊查询shell指令
hbase(main):015:0> scan 'ku129:project',{FILTER=>org.apache.hadoop.hbase.filter.PrefixFilter.new(org.apache.hadoop.hbase.util.Bytes.toBytes('zhang'))}ROW COLUMN+...原创 2018-10-23 16:22:06 · 2068 阅读 · 2 评论 -
zookeeper集群启动报错ZooKeeper JMX enabled by default...解决方案
1. 上传zookeeper到linux服务器,并解压缩/opt/install中2. zookeeper_home/conf zoo_sample.cfg 改名 成 zoo.cfg cp zoo_sample.cfg zoo.cfg3. 修改zoo.cfg# zookeeper_home 创建 data目录dataDir=/opt/install/zookeeper-3.4....原创 2018-09-20 10:09:57 · 35909 阅读 · 0 评论 -
搭建HA HDFS集群
一、搭建zookeeper集群 (奇数个节点 3个节点 )1. 上传zookeeper到linux服务器,并解压缩/opt/install中2. zookeeper_home/conf zoo_sample.cfg 改名 成 zoo.cfg cp zoo_sample.cfg zoo.cfg3. 修改zoo.cfg# zookeeper_home 创建 data目录data...原创 2018-09-20 09:50:18 · 245 阅读 · 0 评论 -
HDFS Python 访问方式
# python3 hdfs 模块1. pip 安装hdfs模块# 获得HDFS 连接from hdfs import Clientclient = Client("http://ip:50070") (ip为你自己的ip或映射)#等同于 bin/hdfs dfs -ls / files = client.list("/") print(files) #文件上传,...原创 2018-09-19 09:38:22 · 602 阅读 · 0 评论 -
HDFS Shell命令
1. 查看hdfs目录命令bin/hdfs dfs -ls /bin/hdfs dfs -ls /suns2. 创建目录的命令bin/hdfs dfs -mkdir 目录名字bin/hdfs dfs -mkdir /sunsbin/hdfs dfs -mkdir -p /xiaohei/xiaohua3. 本地文件上传到hdfsbin/hdfs dfs -put 本地的文件路径 ...原创 2018-09-19 09:32:08 · 478 阅读 · 0 评论 -
Zookeeper集群节点数量为什么要是奇数个?
从baigp那里看到的,整理的很清楚了,转一下无论是公司的生产环境,还是自己搭建的测试环境,Zookeeper集群的节点个数都是奇数个。至于为什么要是奇数个,以前只是模糊的知道是为了满足选举需要,并不知道详细的原因。最近重点学习zookeeper,了解到其中的原理,现将其整理记录下来。首先需要明确zookeeper选举的规则:leader选举,要求 可用节点数量 > 总节点数量/2 ...转载 2018-09-20 19:17:56 · 1068 阅读 · 7 评论