大数据
文章平均质量分 50
秦菲Qinphy
勤以致学,孜孜不倦。
展开
-
Zookeeper-3.5.7集群安装
Zookeeper-3.5.7集群安装注意:Zookeeper在3.5.5版本之后,下载带.bin后缀的文件下载地址:https://downloads.apache.org/zookeeper/stable/解压安装# 把Zookeeper压缩包上传到Downloads文件夹内$ cd ~/Downloads$ rz$ sudo tar -zxf ./apache-zookeeper-3.5.7-bin.tar.gz -C /usr/local$ cd /usr/local# 改名方原创 2021-04-14 10:03:25 · 413 阅读 · 0 评论 -
HBase-2.2.4安装
HBase-2.2.4安装记得使用root权限安装!!!安装HBase$ cd ~$ sudo tar -zxf ~/Downloads/hbase-2.2.4-bin.tar.gz -C /usr/local$ cd /usr/local$ sudo mv ./hbase-2.2.4/ ./hbase$ vi ~/.bashrc添加参数:export PATH=$PATH:/usr/local/hbase/bin$ source ~/.bashrc# 查看安装版本$ h原创 2021-04-14 10:01:39 · 223 阅读 · 0 评论 -
Zookeeper集群安装
Zookeeper集群安装解压安装官网下载(http://zookeeper.apache.org/releases.html )Zookeeper预先把安装包放入了Downloads文件夹内。$ cd ~/Downloads$ sudo tar -zxf ./apache-zookeeper-3.6.0.tar -C /usr/local$ cd /usr/local$ sudo mv ./apache-zookeeper-3.6.0/ ./zookeeper$ sudo chown原创 2021-04-14 10:00:23 · 66 阅读 · 0 评论 -
大数据实验-集群网络相关配置
集群网络配置集群介绍:三台虚拟机,其中一台,作为Master结点,其他作为Slave结点。每台虚拟机安装了CentOs7,最小安装。每台机器的用户名都是qinphy关闭防火墙$ sudo systemctl stop firewalld.service$ sudo systemctl disable firewalld.servicessh配置集群每台机子都要做的:卸载原有的ssh(原本的有缺陷)安装ssh免密登录设置:修改ssh配置文件映射地址:修改hosts文件和ho原创 2021-04-05 09:27:11 · 216 阅读 · 0 评论 -
Linux安装Jdk8环境
安装JAVA环境下载jdk8到windows内:下载地址:https://www.oracle.com/cn/java/technologies/javase-jdk8-downloads.html这里介绍的是手动安装jdk准备工作在Linux系统上安装lrzsz便于传输文件,每台机器都要。$ sudo yum install lrzsz# rz:上传# sz + 文件名:下载创建Downloads文件夹,把传输的文件都放在这里。$ mkdir ~/Downloads原创 2021-04-05 09:25:52 · 187 阅读 · 1 评论 -
Hadoop2.7.7版本安装(CentOs7环境)
Hadoop-2.7.7集群安装下载地址,可选择版本:https://archive.apache.org/dist/hadoop/common/只在Master节点上安装安装步骤解压安装用户授权$ cd ~/Downloads$ rz# 上传下载到windows内的hadoop文件$ sudo tar -zxf ./hadoop-2.7.7.tar.gz -C /usr/local$ cd /usr/local# 更改文件夹名称便于后面的配置$ sudo mv ./ha原创 2021-04-05 09:24:12 · 561 阅读 · 0 评论 -
Hadoop3.1.3版本安装(CentOs7环境)
集群Hadoop实验(虚拟机模拟)centOS选择一台作为Master,其余的作为Slave结点。三台虚拟机的用户名都是qinphy官网下载Hadoop3.1.3(https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz )ssh网络配置三台虚拟机都需要做的卸载原有的ssh:原本的有缺陷。安装ssh修改ssh的配置文件,使其能够ssh远程用密码登录。修改hosts文件,配原创 2021-04-05 09:20:49 · 1456 阅读 · 0 评论 -
HDFS编程实践-Java版
HDFS编程实践JavaHadoop版本2(Hadoop3的代码有不同的地方,需要参考官方文档)准备工作下载安装Eclipse(安装在Windows上即可)在Master的根目录上,创建myFile.txt和localFile.txt并写入任意内容# 如果上次shell编程有做,先删除文件$ cd ~$ hadoop fs -rm -f /user/qinphy/myFile.txt$ rm -f myFile.txt$ rm -f localFile.txt# 创建文件$原创 2021-04-05 09:07:28 · 295 阅读 · 0 评论 -
HDFS编程实践-Shell版
HDFS编程实践Shell# 先启动Hadoop$ cd ~$ start-all.sh# 初始化用户文件夹$ hdfs dfs –mkdir –p /user/qinphy# 在本地创建测试文件$ touch myFile.txt$ vi myFile.txtThis is myFileHello HDFS!$ touch localFile.txt$ vi localFile.txtThis is localFileHello Hadoop!向HDFS中上传任意文本文原创 2021-04-05 08:58:10 · 412 阅读 · 0 评论