大数据与Elasticsearch结合kibana可视化展示

最新推荐文章于 2024-02-07 10:57:18 发布

NYAIoT

最新推荐文章于 2024-02-07 10:57:18 发布

阅读量1k

点赞数

分类专栏：大数据文章标签：大数据 ELK Spark Kibana Elasticsearch

本文链接：https://blog.csdn.net/zenglaoshi/article/details/103242280

版权

本文介绍了如何在Hadoop伪分布式环境下，安装Elasticsearch和Kibana，通过Spark将数据写入Elasticsearch，并在Kibana中进行数据可视化展示。详细步骤包括Hadoop的配置，Elasticsearch和Kibana的单机安装，以及Spark与Elasticsearch的集成。

摘要由CSDN通过智能技术生成

大数据与Elasticsearch结合kibana可视化展示

安装hadoop2.7.3版本（官方推荐）（PS：hadoop3.+以上不支持，试过），hadoop可以搭全分布式和伪分布式，我是用伪分布式。

一、Hadoop伪分布式搭建：

解压Hadoop2.7.3：
1、固定ip
将集群中每一台主机ip设为静态，并且可以相互通信
先使用ifconfig查看当前网卡名称
2 设置每一台机器自己的主机名为了方便标识

 sudo vim /etc/hostname

设置为Master
3 设置主机名和其ip的映射关系 DNS

 sudo vi /etc/hosts

添加例如：
192.168.117.50 master
192.168.117.60 slave1
192.168.117.70 slave2
4 保证每台节点安装过ssh 服务端

5 解压安装文件

  tar -zxvf /home/briup/software/hadoop-3.1.0.tar.gz -C /home/briup/software/

  tar -zxvf /home/briup/software/jdk-8u201-linux-x64.tar.gz -C /home/briup/software/

6 建立软件连接，为了之后更换版本方便
ln -s hadoop-3.1.0/ hadoop
ln -s jdk1.8.0_201/ jdk
7 配置环境变量

  vim ~/.bashrc

添加

  export JAVA_HOME=/home/briup/software/jdk
  export HADOOP_HOME=/home/briup/software/hadoop
  export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin/:$HADOOP_HOME/sbin

8 新建目录

  mkdir -p ~/software/data/hadoop/hdfs 
  mkdir ~/software/data/hadoop/hdfs/nn ~/software/data/hadoop/hdfs/dn ~/software/data/hadoop/hdfs/snn

  mkdir -p ~/software/data/hadoop/yarn
  mkdir ~/software/data/hadoop/yarn/nm  ~/software/data/hadoop/yarn/logs

  mkdir ~/software/hadoop/logs
  sudo chmod -R 777 ~/software/hadoop/logs/

9 修改hadoop-env.sh core-site.xml hdfs-site.xml yarn-site.xml
1. hadoop-env.sh：
修改jdk地址
export JAVA_HOM