BigData
hu_wenjie
运维开发工程师,负责系统各层级的自动化监控开发、系统的自动化巡检开发、熟悉微服务项目的自动化部署、集群方案部署、熟练掌握故障分析定位等。
展开
-
Ambari 管理hadoop、hbase、zookeeper节点
简介:Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和...原创 2019-10-23 16:04:14 · 858 阅读 · 0 评论 -
在hbase shell中执行list抛出异常:ERROR: No valid credentials provided
在hbase shell中执行list抛出异常:ERROR: No valid credentials provided解决方法:1、查看klist[hdfs@kjss1 ~]$ klistklist: No credentials cache found (ticket cache FILE:/tmp/krb5cc_504)2、若未查到相关的缓存数据,执行以下操作...原创 2019-06-17 09:57:15 · 5229 阅读 · 0 评论 -
centos7.5 安装ambari操作说明
概述 Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。2018年11月为止最新的发布版本是 2.7.3。就 Ambari 的作用来说,就是创建、管理、监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookee...原创 2019-06-13 11:03:16 · 1742 阅读 · 0 评论 -
Centos7.2安装zookeeper-3.4.5操作步骤
将配置好的zookeeper拷贝到其他节点(首先分别在Slave1、Slave2根目录:/data/)下载解压zookeeper压缩包至 /data 目录下:zookeeper-3.4.5.tar.gz。注意:修改Slave1、Slave2对应/data/zookeeper/zkData/myid内容。设置开机启动:chkconfig --add zookeeper。查看自启动列表:chkconfig --list。然后创建一个tmp文件夹。最后向该文件写入ID。原创 2018-04-08 10:53:26 · 532 阅读 · 0 评论 -
Centos7.2安装Hbase-1.2.6的操作步骤
解压缩hbase-1.2.6-bin.tar.gz并重命名为hbase, 编辑/hbase/conf/hbase-env.sh$ egrep -v '^$|^#'hbase-env.shexportJAVA_HOME=/usr/local/java/jdk1.8.0_101exportHBASE_CLASSPATH=/data/hadoop/etc/hadoopexportHBASE_OPTS="...原创 2018-04-08 10:52:06 · 638 阅读 · 0 评论 -
Centos7 安装Hadoop-2.8操作步骤
# vi /etc/hosts最后新增以下内容:192.168.xx.xx1 Master192.168.xx.xx2 Slave1192.168.xx.xx3 Slave2首先将刚才下载的hadoop-2.8.0.tar.gz文件解压到/data/hadoop,然后编辑/data/hadoop/etc/hadoop/core-site.xml<configuration> &l...原创 2018-04-08 10:51:05 · 342 阅读 · 0 评论 -
HBase开启Snappy压缩
HBase是目前主流的Nosql数据库之一,由于其优秀的水平扩展能力,业界常将其用来存储海量级的数据。在我们使用HBase的时候,为了节省服务器的存储成本,建议开启HBase的数据压缩特性。主流的HBase压缩方式有LZO和Snappy,Snappy的压缩比会稍微优于LZO。需要注意的是,Snappy是需要单独下载并编译安装的,此过程不在本文讨论范文之内,本文主要介绍如何通过HBase shell原创 2017-08-20 11:12:18 · 958 阅读 · 0 评论 -
Hadoop集群各种坑
最近在玩大数据集群的部署,在部署过程中遇到各种坑爹的问题,真实日了TMD日本狗了。起初是hadoop主节点9000端口问题,刚开始查国内国外各种问题,从异常日志中提示是IP端口被占用,然后直接被shutdown,各种无厘头的问题,后面根据日志慢慢分析Starting namenodes on [Master] Master: @@@@@@@@@@@@@@@@@@@@@@@原创 2017-07-14 23:56:20 · 1295 阅读 · 0 评论 -
hadoop在Master节点9000端口启动失败原因
由于公司测试需要,需搭建hbase集群,在搭建的过程中,到hadoop安装集群的时候出现了9000端口一起未监听,启动时抛出了以下告警信息:Starting namenodes on [Master]Master: @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@Master: @ WARNING: POSS原创 2017-07-05 13:22:41 · 7053 阅读 · 0 评论 -
Hadoop(HDFS、YARN、HBase、Hive和Spark等)默认端口表
端口作用9000fs.defaultFS,如:hdfs://172.25.40.171:90009001dfs.namenode.rpc-address,DataNode会连接这个端口50070dfs.namenode.http-address50470dfs.namenode.https-ad原创 2017-06-20 10:45:30 · 7078 阅读 · 1 评论 -
hadoop2.2.0集群的高可用配置
简介hadoop中的NameNode好比是人的心脏,非常重要,绝对不可以停止工作。在hadoop1时代,只有一个NameNode。如果该NameNode数据丢失或者不能工作,那么整个集群就不能恢复了。这是hadoop1中的单点问题,也是hadoop1不可靠的表现,如图1所示。hadoop2就解决了这个问题。 图1hadoop2.2.0中HDFS的高可靠指的是可以同时启动2个Na原创 2017-06-17 17:50:17 · 615 阅读 · 0 评论