先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7
深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）
正文
cat /usr/local/prometheus/prometheus.yml | grep -v “^#”
global: #用于prometheus的全局配置，比如采集间隔，抓取超时时间等
scrape_interval: 15s #采集目标主机监控数据的时间间隔，默认为1m
evaluation_interval: 15s #触发告警生成alert的时间间隔，默认是1m
scrape_timeout is set to the global default (10s).
scrape_timeout: 10s #数据采集超时时间，默认10s
alerting: #用于alertmanager实例的配置，支持静态配置和动态服务发现的机制
alertmanagers:
- static_configs:
- targets:
# - alertmanager:9093
rule_files: #用于加载告警规则相关的文件路径的配置，可以使用文件名通配机制
- “first_rules.yml”
- “second_rules.yml”
scrape_configs: #用于采集时序数据源的配置
The job name is added as a label job=<job\_name> to any timeseries scraped from this config.
-
job_name: “prometheus” #每个被监控实例的集合用job_name命名，支持静态配置（static_configs）和动态服务发现的机制（*_sd_configs）
metrics_path defaults to ‘/metrics’
scheme defaults to ‘http’.
static_configs: #静态目标配置，固定从某个target拉取数据
- targets: [“localhost:9090”]
（2）配置系统启动文件，启动 Prometheust
cat > /usr/lib/systemd/system/prometheus.service <<‘EOF’
[Unit]
Description=Prometheus Server
Documentation=https://prometheus.io
After=network.target
[Service]
Type=simple
ExecStart=/usr/local/prometheus/prometheus
–config.file=/usr/local/prometheus/prometheus.yml
–storage.tsdb.path=/usr/local/prometheus/data/
–storage.tsdb.retention=15d
–web.enable-lifecycle
ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF
[Unit] #服务单元
Description=Prometheus Server #描述
Documentation=https://prometheus.io
After=network.target #依赖关系
[Service]
Type=simple
ExecStart=/usr/local/prometheus/prometheus
–config.file=/usr/local/prometheus/prometheus.yml \ #配置文件
–storage.tsdb.path=/usr/local/prometheus/data/ \ #数据目录
–storage.tsdb.retention=15d \ #保存时间
–web.enable-lifecycle #开启热加载
ExecReload=/bin/kill -HUP $MAINPID #重载
Restart=on-failure
[Install]
WantedBy=multi-user.target
(3）启动
systemctl start prometheus
systemctl enable prometheus
netstat -natp | grep :9090
浏览器访问：http://192.168.109.138:9090 ，访问到 Prometheus 的 Web UI 界面
点击页面的 Status -> Targets，如看到 Target 状态都为 UP，说明 Prometheus 能正常采集到数据
http://192.168.109.138:9090/metrics ，可以看到 Prometheus 采集到自己的指标数据
## 三、部署 Exporters
部署 Node Exporter 监控系统级指标
（1）上传 node\_exporter-1.3.1.linux-amd64.tar.gz 到 /opt 目录中，并解压
cd /opt/
tar xf node_exporter-1.3.1.linux-amd64.tar.gz
mv node_exporter-1.3.1.linux-amd64/node_exporter /usr/local/bin
（2）配置启动文件
cat > /usr/lib/systemd/system/node_exporter.service <<‘EOF’
[Unit]
Description=node_exporter
Documentation=https://prometheus.io/
After=network.target
[Service]
Type=simple
ExecStart=/usr/local/bin/node_exporter
–collector.ntp
–collector.mountstats
–collector.systemd
–collector.tcpstat
ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF
（3）启动
systemctl start node_exporter
systemctl enable node_exporter
netstat -natp | grep :9100
浏览器访问：http://192.168.109.138:9100/metrics ，可以看到 Node Exporter 采集到的指标数据
>
> 常用的各指标：
>
>
> * node\_cpu\_seconds\_total
> * node\_memory\_MemTotal\_bytes
> * node\_filesystem\_size\_bytes{mount\_point=PATH}
> * node\_system\_unit\_state{name=}
> * node\_vmstat\_pswpin：系统每秒从磁盘读到内存的字节数
> * node\_vmstat\_pswpout：系统每秒钟从内存写到磁盘的字节数
>
>
> 更多指标介绍：<https://github.com/prometheus/node_exporter>
>
>
>
（4）修改 prometheus 配置文件，加入到 prometheus 监控中
vim /usr/local/prometheus/prometheus.yml
#在尾部增加如下内容
- job_name: nodes
metrics_path: “/metrics”
static_configs:- targets:
- 192.168.109.138:9100
- 192.168.109.137:9100
- 192.168.109.136:9100
labels:
service: kubernetes
- targets:
（5）重新载入配置
curl -X POST http://192.168.109.138:9090/-/reload #热加载
或systemctl reload prometheus
浏览器查看 Prometheus 页面的 Status -> Targets
## 四、部署Grafana进行展示
（1）下载和安装
>
> 下载地址：
>
>
> <https://grafana.com/grafana/download>
>
>
> <https://mirrors.bfsu.edu.cn/grafana/yum/rpm/>
>
>
>
#使用yum解决依赖关系 我这边直接上传软件包到opt
yum install -y grafana-7.4.0-1.x86_64.rpm
systemctl start grafana-server
systemctl enable grafana-server
netstat -natp | grep :3000
浏览器访问：http://192.168.109.138:3000 ，默认账号和密码为 admin/admin
（2）配置数据源
Configuration -> Data Sources -> Add data source -> 选择 Prometheus
HTTP -> URL 输入 http://192.168.109.138:9090
点击 Save & Test
点击 上方菜单 Dashboards，Import 所有默认模板
Dashboards -> Manage ，选择 Prometheus 2.0 Stats 或 Prometheus Stats 即可看到 Prometheus job 实例的监控图像
（3）导入 grafana 监控面板
浏览器访问：https://grafana.com/grafana/dashboards ，在页面中搜索 node exporter ，选择适合的面板，点击 Copy ID 或者 Download JSON
在 grafana 页面中，+ Create -> Import ，输入面板 ID 号或者上传 JSON 文件，点击 Load，即可导入监控面板
## 五、部署Prometheus服务发现
### 5.1 基于文件的服务发现
基于文件的服务发现是仅仅略优于静态配置的服务发现方式，它不依赖于任何平台或第三方服务，因而也是最为简单和通用的实现方式。
Prometheus Server 会定期从文件中加载 Target 信息，文件可使用 YAML 和 JSON 格式，它含有定义的 Target 列表，以及可选的标签信息。
（1）创建用于服务发现的文件，在文件中配置所需的 target
cd /usr/local/prometheus
mkdir targets
vim targets/node-exporter.yaml
- targets:
- 192.168.109.131:9100
- 192.168.109.132:9100
- 192.168.109.133:9100
labels:
app: node-exporter
job: node
#修改 prometheus 配置文件，发现 target 的配置，定义在配置文件的 job 之中
vim /usr/local/prometheus/prometheus.yml
…
scrape_configs:
- job_name: nodes
file_sd_configs: #指定使用文件服务发现- files: #指定要加载的文件列表
- targets/node*.yaml #文件加载支持通配符
refresh_interval: 2m #每隔 2 分钟重新加载一次文件中定义的 Targets，默认为 5m
systemctl reload prometheus
浏览器查看 Prometheus 页面的 Status -> Targets
- targets/node*.yaml #文件加载支持通配符
- files: #指定要加载的文件列表
>
> 前提是该node节点装好node-exporter组件，这个步骤在前面就不展示了，可以使用scp命令从普罗米修斯机子传过去
>
>
>
### 5.2 基于 Consul 的服务发现
Consul 是一款基于 golang 开发的开源工具，主要面向分布式，服务化的系统提供服务注册、服务发现和配置管理的功能。
提供服务注册/发现、健康检查、Key/Value存储、多数据中心和分布式一致性保证等功能。
下载地址：<https://www.consul.io/downloads/>
（1）部署 Consul 服务
cd /opt/
unzip consul_1.9.2_linux_amd64.zip
mv consul /usr/local/bin/
#创建 Consul 服务的数据目录和配置目录
mkdir /var/lib/consul-data
mkdir /etc/consul/
#使用 server 模式启动 Consul 服务
consul agent
-server
-bootstrap
-ui
-data-dir=/var/lib/consul-data
-config-dir=/etc/consul/
-bind=192.168.109.138
-client=0.0.0.0
-node=consul-server01 &> /var/log/consul.log &
#查看 consul 集群成员
consul members
（2）在 Consul 上注册 Services
#在配置目录中添加文件
vim /etc/consul/nodes.json
{
“services”: [
{
“id”: “node_exporter-node01”,
“name”: “node01”,
“address”: “192.168.109.138”,
“port”: 9100,
“tags”: [“nodes”],
“checks”: [{
“http”: “http://192.168.109.138:9100/metrics”,
“interval”: “5s”
}]
},
{
“id”: “node_exporter-node02”,
“name”: “node02”,
“address”: “192.168.109.134”,
“port”: 9100,
“tags”: [“nodes”],
“checks”: [{
“http”: “http://192.168.109.134:9100/metrics”,
“interval”: “5s”
}]
}
]
}
#让 consul 重新加载配置信息
consul reload
浏览器访问：http://192.168.109.138:8500
>
> 同样134机子需要配置node-exporter，这边不展示
>
>
>
**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**
**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
ab20014a7885e98cbd29e38c32.png#pic_center)
**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**
**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
[外链图片转存中...(img-vpQjR0Wy-1713355423435)]
**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
