我是一块小石头

文章目录系统与版本集群结构安装 系统与版本 在vSphere ESXI服务器中安装大数据集群，系统镜像为CentOS-7-x86_64-Minimal-1908.iso 版本 CentOS-7-x86_64-Minimal-1908.iso jdk-8u211-linux-x64 apache-phoenix-5.0.0-HBase-2.0-bin apache-zookeeper-3.5.5-bin hadoop-3.1.2 hbase-2.0.5 spark-2.

文章目录问题描述解决方案 问题描述 各个节点zkServer.sh start启动后，查看状态zkServer.sh status 出现报错 Error contacting service. It is probably not running 查看zookeeper日志，有类似警告 Cannot open channel to * at election address * java.net.ConnectException: Connection refused 解决方案 网上有很多解决方案 检查

文章目录导出export导入import 导出export 以test表为例 删除/移动原有备份 hadoop fs -rm -r /opt/hbase-data-back/test_back 创建表 hbase shell create 'test','info' 插入数据 put 'test','01','info:msg','hello' put 'test','02','info:msg','hello' put 'test','03','info:msg','hello' 导

Hadoop 启动hadoop集群后，可以通过jps命令显示当前所有java进程pid的命令，也就显示了所有与Hadoop相关的进程。 启动hadoop start-all.sh 主节点 5664 SecondaryNameNode 20898 Jps 5821 ResourceManager 5439 NameNode 从节点 21557 NodeManager 21432 DataNode 24765 Jps 启动zookeeper zkServer.sh start 启动节点新增进程

由于lynis的日志是直接覆盖原来的文件，似乎无法通过exec等source对其进行监控（我写的agent都shut down了）。如果有同学成功了并且愿意分享的话，我不甚感激。 所以我的尝试以下： 思路为，通过shell监控lynis日志目录，如果有新日志以**时间命名的方式**就存储在目标目录`/var/log/lynis/cp_logs`中，再通过`Spooling Directory Source`的`flume agent`对目录进行监控。

环境 产品 版本 Centos 7 3.10.0-1062.9.1.el7.x86_64 flume apache-flume-1.9.0-bin 安装与配置 下载地址 清华镜像 https://mirrors.tuna.tsinghua.edu.cn/apache/flume/ 解压 tar -zxvf apache-flume-1.9.0-bin.tar.gz 创建软链接 ln -s apache-flume-1.8.0-bin/ flume 配置环境变量 vi ~/.b

文章目录错误一览解决方案 错误一览 开启hbase后hadoop崩溃。重启hadoop。 start-all.sh启动hadoop顺利（单节点） [hadoop@master logs]$ start-all.sh WARNING: Attempting to start all Apache Hadoop daemons as hadoop in 10 seconds. WARNING: This is not a recommended production deployment configura

文章目录错误一览解决方案 错误一览 执行命令sqlline.py master:2181出错 20/05/24 10:11:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 20/05/24 10:11:39 WARN client.ConnectionImplementation: Retri

文章目录错误一览解决方案 错误一览 sbin/start-yarn.sh 执行失败 Starting resourcemanager ERROR: Attempting to operate on yarn resourcemanager as root ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation. Starting nodemanagers ERROR: Attempting to opera

sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager sbin/stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager sbin/start-dfs.sh 启动Hadoop HDFS守护进程NameNode、Seconda