2: 系统架构
3: 安装vmware
- 3.1:如果已经有linux系统,则可以直接跳到步骤5
- 3.2:如果是windows系统,则需要安装vmware,安装步骤如下:
- 3.3:使用vmware版本如下
- 3.4:提供vmware安装介质和序列,加微信可以获取
- 3.5:vmware安装后界面如下
4:安装centos
- 4.1:在vmware安装centos系统
- 4.2:免费提供CentOS的安装介质:CentOS-7-x86_64-DVD-2009.iso,博客资源里有下载地址
- 4.3:在vmware点击“”创建虚拟机”,选择安装介质:CentOS-7-x86_64-DVD-2009.iso
- 4.4:在software selection选择最小化安装,快速安装,节省资源使用
- 4.5:内存直接调整3G
- 4.6:网络选择NAT,当然可以根据自己需要选择其他方式
- 4.7:CPU调大写:至少能有3核
- 4.8:用root用户进行登录,密码是安装centos过程中设置密码:elk
- 4.9:确定是否已安装yum。使用命令
yum list installed
来检查系统中是否已经安装了yum。如果已安装,终端会输出yum的版本信息 - 4.10:关闭和禁止防火墙
关闭防火墙:systemctl stop firewalld
禁止防火墙启动:systemctl disable firewalld - 4.11:设置静态IP
进入目录:cd /etc/sysconf ig/network-scripts, 使用vi命令修改文件:ifcfg-ens33
IP必须是网关所在网段192.168.48.X
修改:
BOOTPROTP=“static”
增加:
IPADDR =192.168.48.120
NETMASK=255.255.255.0
GATEWAY=192.168.48.2
DNS1=192.168.48.2
网关按照下面流程寻找:
重启网络服务:systemctl restart network
查看IP设置执行命令: ip addr
在虚拟机上ping物理机IP,执行命令:ping 192.168.3.138
在物理机上ping虚拟机IP,执行命令:ping 192.168.48.120
在虚拟机上ping百度,执行命令:ping <www.baidu.com> ,说明虚拟机可以连上外网
5:安装SecureCRT
- 5.1:在物理机上安装secureCRT或类似软件,方便登录操作虚拟机linux系统
- 5.2:提供安装介质,见后面资源提供
- 5.3:打开主页,创建系统连接
- 5.4: 设置192.168.48.120连接界面
6:安装docker以及镜像
- 6.1:执行docker安装命令:yum install docker
安装过程提示输入y,一直安装结束 - 6.2:启动docker命令:systemctl start docker, 然后执行docker命令检查是否安装成功
- 6.3:设置docker镜像源
进入目录:/etc/docker,修改文件daemon.json添加如下内容(一定要复制完整):
“registry-mirrors”:[“[https://docker.mirrors.ustc.edu.cn”,“https://cr.console.aliyun.com/”,“http://hub-mirror.c.163.com”]( )]
注:两处中间横线要复制出来,别漏了
然后重启docker,执行命令:systemctl restart docker - 6.4: 安装elk需要相关的docker镜像
docker pull elasticsearch:7.7.1
docker pull kibana:7.7.1
docker pull logstash:7.7.1
docker pull docker.io/zookeeper:3.7.1
docker pull wurstmeister/kafka:latest
查看已经下载镜像执行命令:docker images
下载镜像要有些耐性,有些镜像下载可能有点慢,有些时候可能会超时要多执行几次
下面安装步骤一定要安装顺序执行,因为容器内IP会安装启动顺序生成172.17.0.2、172.17.0.3 …
7:安装elastricsearch
- 7.1:运行elastricsearch, 执行启动命令
docker run --name elasticsearch -d -e ES_JAVA_OPTS=“-Xms512m -Xmx512m” -e “discovery.type=single-node” -p 9200:9200 -p 9300:9300 elasticsearch:7.7.1 - 7.2:查看启动elastricsearch的docker容器,执行命令: docker ps
确保状态是up状态表示容器运行正常 - 7.3:浏览器运行: http://192.168.48.120:9200 (多等几秒钟,多刷新几次浏览器) 界面上显示如下信息表示elastricsearch启动运行成功
- 7.4:执行命令:docker inspect elasticsearch获取容器里IP地址172.17.0.2
8:安装kibana
- 8.1:新建本地配置目录和配置文件:/home/elk/kibana/kibana.yml
Default Kibana configuration for docker target
server.name: kibana
server.host: “0”
elasticsearch.hosts: [ “http://172.17.0.2:9200” ]
monitoring.ui.container.elasticsearch.enabled: true
172.17.0.2 也可以使用虚拟机192.168.48.120替换
- 8.2:执行启动命令:
docker run -d --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name kibana -p 5601:5601 -v /home/elk/kibana/kibana.yml:/usr/share/kibana/config/kibana.yml --privileged=true kibana:7.7.1 - 8.3:查看状态UP成功,执行命令:docker images
- 8.4:浏览器运行: http://192.168.48.120:5601 (一定多刷几次,多等几分钟)
9: 安装zookeeper
- 9.1:执行启动命令:
docker run -d --name zookeeper -p 2181:2181 --privileged=true zookeeper:3.7.1 - 9.2:查看容器状态,执行命令docker ps
- .9.3:验证zookeeper是否可能,需要进入容器内部:
进入容器内部,执行命令:docker exec -it zookeeper bash
进入目录bin ,执行如下命令:./zkServer.sh status
看到如下信息,说明zookeeper安装成功
10:安装kafka
- 10.1:执行启动脚本:
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数大数据工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
记、源码讲义、实战项目、讲解视频,并且后续会持续更新**
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
[外链图片转存中…(img-MzarC6am-1713044360717)]
一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!