hadoop集群搭建
文章平均质量分 85
图文详细描述,hadoop集群的搭建
系'辞
我叫:小辞~
展开
-
【困惑】hadoop集群中,部分工具(如hive)无法通过stop指令关闭服务,那如何根据进程id杀死对应的进程,进而实现关闭特定服务?
###【困惑】如何根据进程id杀死对应的进程,进而实现关闭特定服务?以,关闭hive为例。原创 2021-05-02 15:19:23 · 155 阅读 · 0 评论 -
【服务器】(五)阿里云ECS上搭建Hadoop集群环境——设置(分布式)Mysql、Hive、Sqoop与Hue安装
说明:在本分布式中,slave1、slave2主要作为数据存储。而,hive是用于检索的工具,故仅在Master服务器端安装hive与mysql。安装mysql cd /home/test/install/ #ubantu系统对应指令 sudo apt-get install mysql-server-5.7 #安装MySQL的客户端和服务端 sudo apt install libmysqlclient-dev #安装MySQL需要的依赖 ps -e | grep mysql #查看原创 2021-03-30 11:57:29 · 657 阅读 · 1 评论 -
【服务器】(六)阿里云ECS上搭建Hadoop集群环境——配置Maven、Oozie
前言:oozie版本问题当前环境安装步骤:1.安装包解压 #默认已经上传至虚拟机 #1.1解压文件: cd /home/test/Downloads tar -zxvf /home/test/Downloads/oozie-4.1.0-cdh5.14.0.tar.gz -C /home/test/install/ #解压到install目录路径下2.创建oozie的“hadooplibs” #1.2复制hadooplibs cd /home/test/install/ooz原创 2021-04-30 21:58:44 · 428 阅读 · 0 评论 -
【服务器】(八)阿里云ECS上搭建Hadoopd集群环境——IDEA2020版远程连接阿里云hdfs【图文及问题解析】(Ubuntu)
鸣谢——核心参考1. 阿里云服务器ping不通解决办法(云服务器搭建完环境访问不了ip解决办法)一、阿里云操作二、IDEA操作1. 设置Mysql连接2. 查看所有mysql表,下列操作后,再点击“schemas”就可以了3.配置SSh远程连接【结果】:...原创 2021-04-30 18:09:17 · 728 阅读 · 0 评论 -
【服务器】(七)阿里云ECS上搭建Hadoop集群环境——设置Python及Pycharm远程连接【图文及问题解析】(双系统通用)
阿里云安装Python3.6.6一、ubuntu16.04 安装python3.6【参考】Ubuntu16.04系统查看已安装的python版本并修改默认指向的版本【参考】Ubuntu下安装pip3和Python的第三方库1.准备Python安装包 #1.1下载Python cd /home/test/Downloads/ #进入下载目录 wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tar.xz #下载3.6.6原创 2021-03-25 11:04:45 · 639 阅读 · 2 评论 -
【服务器】(四)阿里云ECS上搭建Hadoop集群环境——设置(真分布式)Spark与Scala
安装Scala2.11.12版: cd /home/test/Downloads tar -zxvf /home/test/Downloads/scala-2.11.12.tgz -C /home/test/install/ cd /home/test/install vim /etc/profile #文件内容如下: export SCALA_HOME=/home/test/install/scala-2.11.12 export PATH=$PATH:$SCALA_HOME/bin原创 2021-04-09 12:02:25 · 292 阅读 · 0 评论 -
【服务器】(三)阿里云ECS上搭建Hadoop集群环境——设置(真分布式)Hbase安装
鸣谢【linux】在三台阿里云服务器上搭建hbase集群(centos7)前言【前置条件1】:【服务器】阿里云ECS上搭建Hadoop集群环境——设置(伪分布式)Hadoop安装Hbase安装步骤:【说明】:以下无特殊说明都是在master端执行1.准备Hbase文件 cd ~ #master端进入根目录 #1.解压文件(默认,资源本地上传到阿里云——看我主页里的FileZilla搭建) tar -zxvf /home/test/Downloads/hbase-1.5.0-bin.t原创 2021-04-09 22:24:59 · 320 阅读 · 0 评论 -
【服务器】(三)阿里云ECS上搭建Hadoop集群环境——(自定义选举)zookeeper安装
鸣谢,大家也可以看看他们呀:一、【linux】在三台阿里云服务器搭建Zookeeper集群(centos7)二、zookeeper是如何选取主leader的?环境:Master:Ubutuslave1、slave2:centos7.3zookeeper-3.4.13zookeeper配置步骤:【说明】默认,zookeeper已经利用FileZilla上传到对应文件夹。而且Master端配置好环境后,再分发到slave端,但是记得修改“slave端”的myid修改zoo.cfg配置文原创 2021-03-24 16:16:15 · 132 阅读 · 0 评论 -
【服务器】(二)阿里云ECS上搭建Hadoop集群环境——设置(真分布式)Hadoop安装【图文附资源】(双系统通用)
鸣谢——主要参考:1. 两台配置CentOS 7.3的阿里云ECS服务器2.使用两台ECS服务器搭建“Cluster mode”的Hadoop集群环境正文开始,前置环节:一、【服务器】阿里云ECS上搭建Hadoop集群环境——设置免密码ssh登陆二、【阿里云】Ubuntu系统安装大数据环境jdk1.7.0Hadoop(伪分布式)集群环境搭建:【注】:无特殊说明时,三台机器的操作是一致的。【注】:无特殊说明时,三台机器的操作是一致的。【注】:无特殊说明时,三台机器的操作是一致的。1. 系原创 2021-03-20 11:29:48 · 515 阅读 · 0 评论 -
【服务器】(一)阿里云CentOS 7系统搭建FTP服务,FileZilla工具登陆器(图文详细流程)
前言:Ubuntu安装FTP的拓展Ubuntu安装FTP的拓展与CentOS 7系统搭建FTP服务安装,过程类似,仅仅代码编写不同,此仅记录代码。核心参考1.手动搭建FTP站点(CentOS 7)2.手动搭建FTP站点(Ubuntu)一、安装vstf服务安装vsftpd yum install -y vsftpd systemctl enable vsftpd.service #设置FTP服务开机自启动 systemctl start vsftpd.service #启动FTP服务原创 2021-03-18 15:42:56 · 2031 阅读 · 0 评论 -
【服务器】(一)阿里云Ubantu系统搭建FTP服务,FileZilla工具登陆器(图文详细流程)
一、安装Vsftpd(转载)1.sudo apt-get remove --purge vsftpd //如果之前安装过vsftpd,请先卸载2.sudo apt-get update //更新源列表3.sudo apt-get install vsftpd //安装vsftpd4.sudo service vsftpd restart //判断vsftpd是否安装成功【结果】:二、创建文件传输目录(转载)1.输入”sudo mkdir /home/test” 回车,创建test文件原创 2021-03-15 19:58:18 · 668 阅读 · 8 评论