![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据平台搭建
文章平均质量分 51
centos7环境,主要是hadoop生态圈搭建
神也小忐忑
纸上得来终觉浅,绝知此事要躬行
展开
-
Hadoop高可用
实验任务一:Linux 基础环境配置1)查看 ip3个虚拟机都执行 ip a 命令,查看当前IP地址和网络接口2)修改主机名master下执行hostnamectl set-hostname masterbashslave1下执行hostnamectl set-hostname slave1bashslave2下执行hostnamectl set-hostname slave2bash3)修改主机映射三个虚拟机依次执行:vi /etc/hosts写入192.168.原创 2021-10-04 15:32:59 · 1588 阅读 · 0 评论 -
大数据平台搭建导航
Linux环境:centos71.hadoop伪分布式搭建2.hadoop完全分布式搭建3.原创 2021-11-12 16:36:39 · 3459 阅读 · 1 评论 -
hadoop伪分布式搭建
开始之前,先将jdk和hadoop的安装包上传到/root,目录下1.安装jdk创建安装目录mkdir /usr/local/java解压jdktar -zxvf jdk-8u152-linux-x64.tar.gz -C mkdir /usr/local/java改个好写的名字mv /usr/local/java/jdk1.8.0_152 /usr/local/java/java配置环境变量vim /etc/profile写入jdk安装路径export JAVA_HOME=原创 2021-09-20 10:30:19 · 1597 阅读 · 0 评论 -
hbase的安装
1.解压缩tar -zxvf hbase-1.4.13-bin.tar.gz -C /usr/改个好名字mv /usr/hbase-1.4.13/ /usr/hbase2.编辑配置文件cd /usr/hbase/conf/vi hbase-site.xml修改<configuration></configuration>为以下内容<configuration><property><name>hbase.rootdir&原创 2021-10-06 22:13:50 · 1199 阅读 · 0 评论 -
sqoop的安装
1.解压缩tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/改名字cd /rootmv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop2.编辑配置文件到 conf 目录下cd /usr/sqoop/conf/复制模板cp sqoop-env-template.sh sqoop-env.sh修改配置文件 vi sqoop-env.shexport HADOOP_CO原创 2021-10-07 12:44:52 · 1137 阅读 · 0 评论 -
spark的安装
1.解压缩tar -zxf spark-2.4.8-bin-hadoop2.6.tgz -C /usr/改名字cd /usrmv spark-2.4.8-bin-hadoop2.6/ spark2.修改配置文件进入spark安装目录下conf目录中复制模板cp slaves.template slavescp spark-defaults.conf.template spark-defaults.confcp spark-env.sh.template spark-env.sh原创 2021-10-07 11:22:12 · 1215 阅读 · 0 评论 -
ntp时间同步
安装都一样yum install -y ntpmaster节点配置vim /etc/ntp.conf注释掉以 server 开头的行写入server 127.127.1.0fudge 127.127.1.0 startum 启动服务并加入开机自启systemctl start ntpdsystemctl enable ntpdslave节点配置vim /etc/ntp.conf注释掉以 server 开头的行并添加server masterslave 上执行命令原创 2021-10-03 14:32:47 · 1237 阅读 · 0 评论 -
zookeeper分布式搭建
1.安装jdk点这里2.安装zookeeper解压缩tar -zxvf zookeeper-3.4.8.tar.gz -C /usr/过去改个好名字,直接改成zookeeper编辑环境变量vi etc/profile写入以下内容#zkexport ZOOKEEPER_HOME=/usr/zookeeperexport PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin刷新环境变量source /etc/profile进入zk安装原创 2021-10-04 09:24:17 · 1377 阅读 · 0 评论 -
mysql的安装
1.下载安装包阿里镜像我选择的是5.7.33版本的mysql-5.7.33-1.el7.x86_64.rpm-bundle.tar2.安装解压安装包rpm -ivh mysql-community-libs-5.7.33-1.el7.x86_64.rpm解压完成ls看一下应该是这样的安装组件一定按照顺序①首先安装 mysql-community-common (服务器和客户端库的公共文件)rpm -ivh mysql-community-common-5.7.33-1.el7.x原创 2021-10-03 17:07:25 · 1561 阅读 · 2 评论 -
flume的安装
1.解压缩tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/改名 cd /usr/ mv apache-flume-1.9.0-bin/ flume2.修改配置文件复制模板cp flume-env.sh.template flume-env.shvi flume-env.sh写入export JAVA_HOME=/usr/jdk修改环境变量vi /etc/profile#flumeexport FLUME_HOME=/u原创 2021-10-07 10:58:57 · 1203 阅读 · 0 评论 -
jdk的安装
开始之前,将jdk放在当前目录下1.解压缩创建目标路径(你想把java安装在哪)我安装在/usr/javamkdir /usr/java解压到目标路径-C 指定路径tar -zxvf jdk-8u261-linux-x64.tar.gz -C /usr/java2.配置环境变量cd到java的安装目录pwd查看路径/usr/java/jdk1.8.0_261执行命令vi /etc/profile 增加:#jdkexport JAVA_HOME=/usr/java/jdk1原创 2021-09-16 10:24:08 · 1161 阅读 · 0 评论 -
scala的安装
前提准备依赖java,要先安装jdk解压tar -zxf scala-2.13.6.tgz -C /usr/改下名字cd /usrmv scala-2.13.6/ scala配置环境变量vi /etc/profile#scalaexport SCALA_HOME=/usr/scalaexport PATH=$PATH:$SCALA_HOME/bin刷新source /etc/profile直接输入scala就可以进入...原创 2021-10-06 22:49:20 · 1112 阅读 · 0 评论 -
kafka的安装
1.解压缩tar -zxf kafka_2.12-2.6.2.tgz -C /usr/改名字cd /usr/mv kafka_2.12-2.6.2/ kafka2.编辑配置文件cd /usr/kafka/config/vi server.properties在broker.id=0下面写入zookeeper.connect=slave1:2181,slave2:2181log.dirs=/usr/local/logs/kafka-logs环境变量vi /etc/p原创 2021-10-07 11:52:28 · 1137 阅读 · 0 评论 -
hive的本地安装
Hive 安装模式简介Hive 的安装模式分为 3 种,分别是嵌入模式、本地模式和远程模式。下面这对这 3 种模式进行介绍。(1)嵌入模式:使用内嵌的 Derby 数据库存储元数据,这种方式是 Hive 的默认安装方式,配置简单,但是同一个目录下一次只能连接一个客户端,适合用来测试,不适合生产环境。(2)本地模式:采用外部数据库(一般是 MySQL) 存储元数据,该模式是一个多用户的模式,运行多个客户端连接到一个数据库中。该模式一般作为公司内部同时使用 Hive。该模式不需要单独开启 Metastor原创 2021-10-05 12:00:33 · 2210 阅读 · 0 评论 -
Hadoop3完全分布式
前期准备三台linux,yum和网络都配置好yum和网络配置点这里jdk和hadoop的安装包上传上来1.修改主机名master下执行hostnamectl set-hostname masterbashslave1下执行hostnamectl set-hostname slave1bashslave2下执行hostnamectl set-hostname slave2bash2.主机映射三台都要执行vi /etc/hosts末尾写入192.168.26.148原创 2021-10-14 23:25:59 · 1470 阅读 · 0 评论 -
storm的安装
前期准备需要python3pyhton -V看一下先安装一个python3yum -y install python3做个软链接cd /usr/bin/rm -f pythonln -s python3 pythonll pythonpython -V1.解压缩tar -zxf apache-storm-2.1.0.tar.gz -C /usr/改名字cd /usr/mv apache-storm-2.1.0/ storm2.编辑配置文件环境变量vi /原创 2021-10-07 12:32:28 · 1613 阅读 · 0 评论 -
hadoop完全分布式搭建
前期准备三台linux,yum和网络都配置好1.修改主机名master下执行hostnamectl set-hostname masterbashslave1下执行hostnamectl set-hostname slave1bashslave2下执行hostnamectl set-hostname slave2bash2.主机映射三台都要执行vi /etc/hosts末尾写入192.168.26.148 master192.168.26.149 slave119原创 2021-10-02 19:23:21 · 1859 阅读 · 5 评论