HBase
我是A_lin呀
勤于思,敏于行,善于言。
展开
-
使用HBaseAPI本地执行时卡住不动的问题
使用HBaseAPI本地执行时卡住不动的问题程序不报错,一直卡住。我这的原因是因为,hbase配置项zookeeper.znode.parent的值和默认的不一致的原因,在代码中添加一行代码,指定配置的值和集群的配置值保持一致,即可。conf.set("zookeeper.znode.parent", "/hbase-unsecure");检查集群的配置:如果代码中不指定或未提供自己的配置文件hbase-site.xml指定。将使用默认的配置项。如下:zookeep.原创 2020-08-06 11:07:00 · 905 阅读 · 0 评论 -
importtsv工具导入文本文件到Hbase
importtsv是从tsv文件直接加载内容到HBase的一个HBase内置工具,通过运行MR Job,将数据从TSV文件直接写入HBase的表或写入一个HBase的自由格式数据文件(HFile)。 使用awk工具对原始文件作处理,添加rowkey字段。将第一个字段和第二个字段拼接作为rowkey。命令: awk -F ',' '{print $1...原创 2019-01-08 21:07:04 · 618 阅读 · 0 评论 -
spark on yarn 的一些问题、hbase关闭问题
spark on yarn 报错:When running with master 'yarn-client' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.在spark-env.sh中 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop Neit...原创 2019-02-24 22:35:35 · 545 阅读 · 0 评论