hbase
IT过客
这个作者很懒,什么都没留下…
展开
-
zepplin 配置zepplin找不到主机bdcluster或者java.lang.NoClassDefFoundError
HBase HA集群是基于Hadoop HA集群的,在搭建HBase HA集群之前需要先有1个运行正常的Hadoop HA集群环境。在做完相关HBase配置后,启动HBase时,只有主HBase启动正常,备用HBase及Region全部没有启动,排查发现是启动时报错了:java.net.UnknownHostException: HadoopCluster这是因为,HBase没有识别HadoopCluster这个集群,解决这个问题的方法是把Hadoop的2个配置文件(core-...原创 2020-07-10 16:50:51 · 320 阅读 · 0 评论 -
ansible 自动安装hbase(二) hbase.yml
- hosts: hbase remote_user: root vars: AnsibleDir: /opt/ansible BigdataDir: /opt tasks: - name: delete exists zookeeper file: path=/opt/zookeeper-3.4.14 state=absent - nam...原创 2020-03-05 09:27:02 · 625 阅读 · 0 评论 -
ansible 自动安装hbase (一键启动关闭脚本) -start_stop.yml
- hosts: start_stop remote_user: root vars: AnsibleDir: /opt/ansible tasks: - name: delete exists start file: path=/opt/start state=absent - name: delete exists stopp file...原创 2020-03-05 09:19:35 · 515 阅读 · 0 评论 -
ansible 自动化安装hbase(四)
- hosts: hbase remote_user: root tasks: - name: delete old jdk shell: sed -i "/^export JAVA_HOME/d" /etc/profile - name: delete old zookeeper shell: sed -i "/^export ZOOKEEPER_HOM...原创 2020-03-05 09:28:18 · 196 阅读 · 0 评论 -
ansible 自动安装hbase (一) sys_hbase.yml
- hosts: hbase-ssh remote_user: root tasks: - name: enable sshd shell: sed -i "s/^.*StrictHostKeyChecking.*$/StrictHostKeyChecking no/g" /etc/ssh/ssh_config - name: open PubkeyAuthenticat...原创 2020-03-05 09:20:32 · 310 阅读 · 0 评论 -
hadoop 集群常见问题汇总 FSEditLog: Error: starting log segment 7913 failed for required journal
一台namenode挂掉,另外一台高可用没起起来,journal报错,解决办法:1,其实在实际的生产环境中,也很容易发生类似的这种超时情况,所以我们需要把默认的20s超时改成更大的值,比如60s。我们可以在hadoop/etc/hadoop下的hdfs-site.xml中,加入一组配置:<property> <name>dfs.qjo...原创 2020-02-28 10:01:03 · 808 阅读 · 0 评论 -
hbase学习笔记:快照SNAPSHOTS
列出所有快照hbase shell列出快照 >>list_snapshots创建快照snapshot 'DR_RT_OPC_KAFKAAI','DR_RT_OPC_KAFKAAI_SHAPSHOT20200227'3.删除快照使用deleted_snapshot命令。删除快照不会影响到克隆表或者之后生成的快照。hbase>delete_snap...原创 2020-02-27 17:44:55 · 268 阅读 · 0 评论 -
NodeManager 日志报错 YarnRuntiomeException:java.net.BindException problem binding to 0.0.0.0
线上报错如图看了半天没发现什么问题啊,最后使用jps发现nodemanager,的进程号偏小,怀疑进程卡死使用一键关闭脚本没有关掉,果然kill掉重启后好了...原创 2020-02-27 13:10:47 · 689 阅读 · 0 评论 -
hbase -env.sh 优化
export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -Xms512m -Xmx512m"export HBASE_REGIONSERVER_OPTS="-Xms8g -Xmx8g -XX:+UseG1GC -XX:MaxGCPauseMillis=100 -XX:+ParallelRefProcEnabled -XX:ConcGCThreads=4 -X...原创 2020-02-26 16:36:39 · 762 阅读 · 0 评论 -
hbase-site.xml经优化版
<configuration><property><name>hbase.rootdir</name><value>hdfs://bdcluster:8020/hbase</value></property><!-- 超时时间 --><property><name&...原创 2020-02-26 16:31:02 · 107 阅读 · 0 评论