大数据开源工具--组件

将离线包上传ftp进行使用

一、docker 安装使用：

（1）解压
[root@tingnan-DB3 ~]# tar xzvf docker-18.03.1-ce.tgz

（2）将docker文件夹中的内容全部移动到/usr/bin/目录下
[root@tingnan-DB3 ~]# sudo cp docker/* /usr/bin/

（3）开启docker守护进程

[root@tingnan-DB3 ~]# sudo dockerd &

（4）docker版本测试

[root@tingnan-DB3 ~]# docker -v

设置docker开机自启动参考网站：https://www.cnblogs.com/luoSteel/p/10038954.html

二、docker服务运行监控工具部署安装

[root@tingnan-DB3 ~]# tar xvzf prometheus-2.6.1.linux-amd64.tar.gz
移动到安装目录：
[root@tingnan-DB3 ~]# mv prometheus-2.6.1.linux-amd64 /usr/local/prometheus

进入目录：
[root@tingnan-DB3 ~]# cd /usr/local/prometheus

修改配置文件底部监控本机：
[root@tingnan-DB3 prometheus]# vim prometheus.yml

scrape_configs:

• job_name: ‘prometheus’
  static_configs:

  监控本地及端口

  • targets: [‘xiangsikai:9090’]

配置文件注解

注：Prometheus从目标机上通过http方式拉取采样点数据, 它也可以拉取自身服务数据并监控自身的健康状况。

注：当然Prometheus服务拉取自身服务采样数据，并没有多大的用处，但是它是一个好的DEMO。
global:
####### 默认情况下，每15s拉取一次目标采样点数据。
scrape_interval: 15s
####### 我们可以附加一些指定标签到采样点度量标签列表中, 用于和第三方系统进行通信, 包括：federation, remote storage, Alertmanager
external_labels:
####### 下面就是拉取自身服务采样点数据配置
monitor: ‘codelab-monitor’
scrape_configs:
####### job名称会增加到拉取到的所有采样点上，同时还有一个instance目标服务的host：port标签也会增加到采样点上

• job_name: ‘prometheus’
  ####### 覆盖global的采样点，拉取时间间隔5s
  scrape_interval: 5s
  static_configs:
  • targets: [‘localhost:9090’]

启动服务

./prometheus --config.file=prometheus.yml

指定配置文件

–config.file=“prometheus.yml”
###指定监听地址端口
–web.listen-address=“0.0.0.0:9090”

最大连接数

–web.max-connections=512

tsdb数据存储的目录，默认当前data/

–storage.tsdb.path=“data/”

premetheus 存储数据的时间，默认保存15天

–storage.tsdb.retention=15d

启动选项了解：./prometheus --help

其它大数据工具

node.js -----node-red

Grafana -----可视化监控指标展示工具

dataX --------数据抽取工具

DolphinScheduler --------调度工具