![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
小虎啊~
这个作者很懒,什么都没留下…
展开
-
Zookeeper安装配置
Hadoop集群上部署zookeeper原创 2022-07-22 15:23:48 · 834 阅读 · 1 评论 -
1 --- Hive的安装及其元数据存储在MySQL中
一、Hive的安装部署Hive的安装及部署上传安装包到指定目录解压安装包到/usr/apps/hive目录下面tar -zxvf apache-hive-2.3.7-bin.tar.gz -C /usr/apps/hive/修改/usr/apps/hive/目录下的apache-hive-2.3.7-bin为hive-2.3.7mv apache-hive-2.3.7-bin hive-2.3.7修改/usr/apps/hive/hive-2.3.7/conf目录下的hiv原创 2020-12-09 20:36:39 · 143 阅读 · 0 评论 -
Hadoop3.0集群模式安装
一、安装jdk1、安装jdk将/data/hadoop目录下jdk-8u161-linux-x64.tar.gz 解压缩到/opt目录下。sudo tar -xzvf /data/hadoop/jdk-8u161-linux-x64.tar.gz -C /opt下面将jdk1.8.0_161目录重命名为java,执行:sudo mv /opt/jdk1.8.0_161/ /opt/java2、修改环境变量执行下列命令进行环境变量配置sudo vi /etc/profil原创 2020-12-04 10:18:23 · 278 阅读 · 0 评论 -
Hadoop3.0单节点安装部署
一、设置免密登录1.首先来配置SSH免密码登陆ssh-keygen -t rsa出现如下内容:Enter file in which to save the key (/home/dolphin/.ssh/id_rsa):回车即可,出现如下内容:Enter passphrase (empty for no passphrase):直接回车,出现内容:Enter same passphrase again:直接回车,创建完成,结果内容如下:此时ssh公钥和私钥已经生成完毕,且原创 2020-12-01 18:16:54 · 2185 阅读 · 0 评论 -
第一章 Spark概述
一、Spark概述1.1、Spark是什么Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。1.2、Spark和Hadoop1.2.1、从时间来看Hadoop:2013年10月发布2.X(YARN)版本;Spark:2013年6月,Spark成为Apache基金会下的项目。1.2.2、从功能上来看hadoopHadoop是用Java语言编写的,在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架。HDFS作为Hadoop分布式文件系统,HDFS处于Hadoo原创 2020-10-22 11:36:19 · 283 阅读 · 0 评论 -
基于YARN模式部署Spark集群
一、部署YARN请读者参考我的另外一篇博文Hadoop安装及环境配置二、部署Spark1、修改Hadoop配置文件如果Hadoop处于运行中,则修改配置后需要重启Hadoop相关服务来保证配置生效。个人建议最好停掉Hadoop相关服务,待部署成功在启动相关服务。1.1、编辑Hadoop安装目录下的 yarn-site.xml文件进入Hadoop安装目录下cd /usr/hadoop/hadoop-2.10.0/etc/hadoop/vi yarn-site.xml添加如下配置<原创 2020-10-15 10:20:46 · 835 阅读 · 0 评论 -
基于Standalone模式部署高可用的Master服务以及Zookeeper的部署
一、Zookeeper的安装配置(最好配置单数个节点)1、用Xftp上传安装包到自己的文档目录中解压安装包到hadoop目录下tar -zxvf /usr/husun/apache-zookeeper-3.5.8-bin.tar.gz -C /usr/hadoop/解压完安装包进入到hadoop目录下cd /usr/hadoop/目录名字太长,改短点mv apache-zookeeper-3.5.8-bin/ zookeeper-3.5.82、修改配置文件2.1、修改zoo.cfg文原创 2020-10-15 09:10:09 · 211 阅读 · 0 评论 -
部署Spark的历史服务器---Spark History Server
部署Spark的历史服务器—Spark History Server一、配置spark历史服务器此操作是建立在“部署基于Standalone模式部署Spark集群”之上的,也是我的上一篇博客https://editor.csdn.net/md/?articleId=1090158941.1、进入Spark安装目录下的conf目录cd /usr/spark/spark-2.4.7-bin-hadoop2.7/conf/1.2、编辑spark-default.conf文件,找到# spark原创 2020-10-12 09:29:56 · 1619 阅读 · 0 评论 -
基于Standalone模式部署Spark集群
一、下载:在清华大学开源网站镜像站选择适合自己版本的Spark;二、安装与配置1、解压缩我的个人资料目录为: /usr/husun1.1、创建个人目录,并将下载的Spark用Xftp上传至个人目录下并解压tar -zxvf /usr/husun/spark-2.4.7-bin-hadoop2.7.tgz -C /usr/spark1.2、验证解压缩是否成功进入spark的安装目录,输入:ls | grep spark出现以下显示则解压成功:1.3、使用以下命令进入Spark的配置文原创 2020-10-11 20:41:43 · 163 阅读 · 0 评论 -
Xshell的简单安装与使用
Xshell的简单使用一、下载:https://www.netsarang.com/zh/xshell/二、双击打开安装包,一路next三、安装完成,打开,得到如下画面:四、Xshell远程连接服务器1、选择新建2、输入主机名和主机IP创建连接(此步骤必须保证所要连接的主机开机)3、输入管理员名称和密码,如下:4、创建成功,你可以开心的操作你的服务器了。...原创 2020-10-11 17:52:18 · 228 阅读 · 0 评论 -
Hadoop安装及环境配置
1. 虚拟机配置1.1 安装CentOS系统不建议安装CentOS最新版本,安装Centos后修改虚拟机名称为master注:本文使用VMWare进行配置,若使用VirtualBox配置时,除虚拟机网络配置略有不同外,其他一致。1.2 网络连接介绍1.桥接模式:虚拟机和物理机连的是同一个网络,虚拟机和物理机是并列关系,地位是相当的。无论是虚拟系统还是真实系统,只要在同一个网段下,相互之间就能ping通。2.NAT模式:物理机会充当一个“路由器”的角色,虚拟机要想上网,必须经过物理机,那物理机如果原创 2020-10-11 13:49:14 · 1120 阅读 · 0 评论