大数据平台搭建
文章平均质量分 60
唐-import-某人
放笔记
展开
-
大数据平台搭建目录
学习在本地搭建hdfs及部分配套工具1.配置到hadoop所需文件链接:https://pan.baidu.com/s/1ibq9v1vbWmau9qyNHFkt2Q提取码:66662.配置到pysaprk所需文件链接:https://pan.baidu.com/s/13o-qcsZb01orEJ-P8k7pQA提取码:66661.安装centos72.xshell和xftp使用3.使用xshell进行配置Hadoop4.Spark搭建5.scala搭建6.anaconda安装配置至原创 2021-06-03 00:27:35 · 264 阅读 · 0 评论 -
1.centOS7安装
一.安装centos71.[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qr8bYGyZ-1622650261884)(https://img2020.cnblogs.com/blog/1892994/202012/1892994-20201219141753575-572233771.png)]点击创建新的虚拟机2.[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-shNY8GdD-1622650261887)(https://img2原创 2021-06-03 00:11:40 · 87 阅读 · 0 评论 -
2.xshell和xftp使用
一.连接xshell1.找到IP在vm中启动虚拟机并打开终端输入ifconfig -aip: 192.168.150.128二.Xshell连接1.新键会话根据对应输入打开相应会话设置登陆账号设置登陆密码出现#既连接成功三.xftp文件传输在Xshell的菜单栏点击如下图标打开xftp找到文件位置直接拖动示例如下...原创 2021-06-03 00:12:33 · 265 阅读 · 0 评论 -
3.使用xshell进行配置Hadoop
一.预备准备1.关闭防火墙关闭防火墙的命令systemctl stop firewalld.service 关闭防火墙的开机自启systemctl disable firewalld.service2.新建文件夹(放置安装好的文件)mkdir -p /opt/apps /opt/3.解压文件输入命令解压java和Hadooptar -zxvf 地址/jdk-8u221-linux-x64.tar.gz -C /opt/apps/tar -zxvf 地址/hadoop-2.原创 2021-06-03 00:13:14 · 3624 阅读 · 0 评论 -
4.Spark-3.1.2搭建
一.下载或放置压缩文件二.解压文件tar -zxf 被解压文件路径 -C 解压文件放置路径三.配置文件1.profilevim /etc/profile末尾添加export SPARK_HOME=/opt/apps/spark-3.1.2-bin-hadoop2.7export PATH=$PATH:${SPARK_HOME}/bin按ESC键输入:wq保存退出更新profilesource /etc/profile2.spark-env.sh配置进入原创 2021-06-03 00:14:18 · 692 阅读 · 0 评论 -
5.scala搭建
一.下载或放置压缩文件二.解压文件tar -zxf 被解压文件路径 -C 解压文件放置路径三.配置scala1.profilevim /etc/profile末尾添加export SCALA_HOME=/opt/apps/scala-2.12.11export PATH=$PATH:$SCALA_HOME/bin更新profilesource /etc/profile验证scala...原创 2021-06-03 00:14:48 · 80 阅读 · 0 评论 -
6.anaconda安装配置至可以使用spark
root下安装一.sh安装sh Anaconda3-2020.11-Linux-x86_64.sh有yes or no选yes 其余全回车二.配置环境变量vi /etc/profile1.末尾添加export PATH=$PATH:/root/anaconda3/bin2.刷新环境变量source /etc/profile3.检验是否安装conda -Vconda 4.9.2三.jupyter1.生成密码进入pythonipython生成密码from no原创 2021-06-03 00:15:27 · 246 阅读 · 0 评论 -
7.Zookeeper搭建
一.解压tar -zxf apache-zookeeper-3.6.3-bin.tar.gz -C /opt/apps重命名cd /opt/appsmv apache-zookeeper-3.6.3-bin/ zookeeper二.配置环境变量进入profilevim /etc/profile末尾加入export ZOOKEEPER_HOME=/opt/apps/zookeeperexport PATH=$ZOOKEEPER_HOME/bin:$PATH刷新pro原创 2021-06-06 11:36:15 · 77 阅读 · 0 评论 -
8.HBase安装
一.解压tar -zxf hbase-2.1.0-bin.tar.gz -C /opt/apps二.配置环境变量1.profile进入profilevi /etc/profile添加export PATH=$PATH:/opt/apps/hbase-2.1.0/bin刷新profilesource /etc/profile三.配置进入conf文件进行配置cd /opt/apps/hbase-2.1.0/conf/1.hbase-envvi进入vi原创 2021-06-06 13:47:08 · 70 阅读 · 0 评论