先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip204888 (备注大数据)
正文
export ES_HOME=/app/es
export PATH=
E
S
_
H
O
M
E
/
b
i
n
:
ES\_HOME/bin:
ES_HOME/bin:MAVEN_HOME/bin:
R
O
C
K
E
T
M
Q
_
H
O
M
E
/
b
i
n
:
ROCKETMQ\_HOME/bin:
ROCKETMQ_HOME/bin:JAVA_HOME/bin:$PATH
source /etc/profile #环境变量生效
elasticsearch默认不允许root账号运行,需要创建账户
groupadd elasticsearch
useradd -r -g elasticsearch
chown -R elasticsearch:elasticsearch /app/es/
chmod 755 /app/es/
su elasticsearch
修改配置
cd /app/es/config
修改elasticsearch.yml
mkdir /app/es/data
mkdir /app/es/logs
vim elasticsearch.yml
path.data: /app/es/data # 数据目录位置
path.logs: /app/es/logs # 日志目录位置
network.host: 0.0.0.0 # 绑定到0.0.0.0,允许任何ip来访问
node.name: node-1 # 此节点在集群中的名字
http.port: 9200 # 访问端口号
cluster.initial_master_nodes: [“node-1”] # 集群中节点名称,此名称要和node.name对应
修改内存占用
vim jvm.options
-Xms512m
-Xmx512m
运行elasticsearch
su elasticsearch
cd /app/es/bin
./elasticsearch
./elasticsearch -d # 后台启动
测试
curl http://localhost:9200
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/aa2e640c1ddc4717aef9c399a56b135e.png#pic_center)
#### 安装Kibana
Kibana是一个基于WEB的Elasticsearch管理控制台
root用户创建目录/app/kibana,将安装包上传到该目录,并解压
mkdir -p /app/kibana
cd /app/kibana
tar -zxvf kibana-7.17.0.tar.gz
cd /app/kibana/kibana-7.17.0
创建日志存放目录
mkdir -p /app/kibana/logs
修改config/kibana.yml
vim config/kibana.yml
#编辑内容:
server.host: “0.0.0.0”
server.publicBaseUrl: “http://127.0.0.1:5601”
elasticsearch.hosts: [“http://127.0.0.1:9200”]
logging.dest: /app/kibana/logs/kibana.log
授权,让elasticsearch用户可以访问kibana目录
chown -R elasticsearch:elasticsearch /app/kibana
启动kibana
cd /app/kibana/kibana-7.17.0
bin/startup.sh start
浏览器访问:http://127.0.0.1:5601/
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/cc7b45e9d715443e96df5ffa362bec2c.png#pic_center)
##### 安装ik分词器
创建目录/app/es/plugins/ik,将ik安装包上传到该目录,并解压
mkdir -p /app/es/plugins/ik
cd /app/es/plugins/ik
unzip elasticsearch-analysis-ik-7.17.0.zip
使用jps和kill -9关闭elasticsearch,之后重新启动elasticsearch
cd /app/es/bin
./elasticsearch
测试ik分词器
ik分词器提供了两种analyzer,分别是ik\_max\_word和ik\_smart。
GET _analyze
{
“text” : “数据科学与大数据技术”,
“analyzer”: “ik_max_word”
}
GET _analyze
{
“text” : “数据科学与大数据技术”,
“analyzer”: “ik_smart”
}
#### 安装Logstash
root用户创建目录/app/logstash,将安装包上传到该目录,并解压
mkdir -p /app/logstash
cd /app/logstash
tar -zxvf logstash-7.17.0.tar.gz
cd /app/logstash/logstash-7.17.0
修改配置文件
vim config/biz-logs-logstash.conf
input {
tcp {
port => 4560
mode => “server”
codec => json_lines
}
}
output {
elasticsearch {
hosts => [“127.0.0.1:9200”]
index =>“logstash-%{+YYYY.MM.dd}”
}
}
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
}
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
[外链图片转存中…(img-rcCJ9FG6-1713117152534)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!