英雄来自哪里-CSDN博客

原创 prometheus(jvm_exporter监控kafka jvm)

下载解压kafka_2.11-0.11.0.2.tgz1.下载kafka，链接 https://kafka.apache.org/downloads;2.配置kafka的JMX PORT,修改bin/kafka-server-start.sh 添加一行 export JMX_PORT="9999" # 这里9999为设置的jmx端口3.下载jmx_exporter,链接 https://github.com/prometheus/jmx_exporter, 将jar包(jmx_pr...

2021-11-09 17:13:04 1914

原创 Hive的安装与配置

本文中hive版本1.2.1，默认环境中jdk已经正常安装，hadoop集群正常启动,Mariadb数据库已经安装解压文件到指定目录 tar -xvzf apache-hive-1.2.1-bin.tar.gz -C /root/software配置hive环境变量vi /etc/profile配置完成可输入hive --version 查看版本修改hive配置文件：cd /root/software/hive-1.2.1/conf初次解压发现hive...

2021-09-27 11:53:14 192

原创 Hive导入数据

hive> create table scores(id int, score int) > row format delimited > fields terminated by ',' > stored as textfile; //指定Hive文件存储格式有两种导入方式，一种从HDFS文件系统中导入hive> load datainpath '/score.text' overwrite into table scores;...

2021-09-27 11:19:55 93

原创配置DNS域名正向解析

DNS正向解析1. DNS服务端：编辑主配置文件vim /etc/named.conf编辑/var/named/bigdata.cn.zone (这里的文件要先cp -a named.localhost bigdata.cn.zone)客户端配置文件把网关DNS1配置成服务器的ip然后配置/etc/resolv.conf...

2021-09-26 11:53:31 154

原创 Hadoop完全分布式配置文件

在配置前，需要各个虚拟机之间和本机能够ping通，防火墙全部关闭，Java和Hadoop环境准备好需要配置的文件如下：hadoop-env.sh core-site.xmlhdfs-site.xmlyarn-site.xmlslavesmapred-site.xml<configuration><property> <name>fs....

2021-09-26 10:07:44 374

原创 DateNode节点启动不成功

logs日志报错信息为java.net.BindException: Port in use: localhost:0 (端口被占用)Caused by: java.net.BindException: Cannot assign requested address（网络绑定异常，不能分配请求的地址）现象：主节点的namenode、secondarynamenode启动成功，但是slave节点datenode启动不成功。可能的出现的问题1、多次格式化namenode，导致 ..

2021-09-24 10:30:18 448 1