大数据-玩转数据-Hadoop生态组建
文章平均质量分 81
大数据-玩转数据-Hadoop生态组建
人猿宇宙
大数据\项目管理
展开
-
大数据-玩转数据-Zookeper集群部署
大数据-玩转数据-Zookeper集群部署1说明:前面已安装了hadoop,yarn,spark,下面接着安装ZooKeeper2 安装ZooKeeper2.1 下载压缩包官网:http://zookeeper.apache.org/releases.html需要下载bin包, apache-zookeeper-3.7.0-bin.tar.gz2.2 解压hadoop用户登录(已有root权限)tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz2.3原创 2021-12-23 11:58:23 · 377 阅读 · 0 评论 -
大数据-玩转数据-Hbase的安装和基本使用
大数据-玩转数据-Hbase的安装和基本使用Hbase安装安装环境三台虚拟机:hadoop1、hadoop2、hadoop3,hadoop4已经安装好Hadoop环境和zookeeper下载Hbase安装包[root@hadoop1 ~]# wget http://archive.apache.org/dist/hbase/hbase-1.4.12/hbase-1.4.12-bin.tar.gz也可以直接去镜像网站下载,地址:http://archive.apache.org/dist/原创 2021-12-25 21:23:31 · 475 阅读 · 0 评论 -
大数据-玩转数据-hive的安装
大数据-玩转数据-hive的安装一、说明:本文以mysql安装hive为例,前提是已经部署好好JDK、hadoop、mysql。二、下载hive官方下载网址:http://archive.apache.org/dist/hive三、安装把下载好的 apache-hive-3.1.2-bin.tar.gz 传到 /home/hadoop/目录下(我的大数据平台程序存放安装统一目录)解压:[root@hadoop1 ~]# tar -zxvf apache-hive-3.1.2-bin.tar.原创 2022-01-02 22:36:41 · 481 阅读 · 0 评论 -
大数据-玩转数据-Sqoop安装部署及应用
大数据-玩转数据-Sqoop安装部署及应用说明:Sqoop是apache旗下的一款 ”Hadoop和关系数据库之间传输数据”的工具导入数据 import将MySQL,Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统导出数据 export从Hadoop的文件系统中导出数据到关系数据库。Sqoop安装部署1、下载安装包https://attic.apache.org/projects/sqoop.html下载 sqoop-1.99.7-bin-hadoop20原创 2022-01-04 17:31:08 · 581 阅读 · 0 评论 -
大数据-玩转数据-Hadoop 2.x常用端口及查看方法
大数据-玩转数据-Hadoop 2.x常用端口及查看方法一、常用端口组件 节点 默认端口 配置 用途 说明HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输HDFS DataNode 50075 dfs.datanode.http.address http服务的端口HDFS DataNode 50475 dfs.datanode.https.address https服原创 2021-12-20 17:14:00 · 1532 阅读 · 0 评论 -
大数据-玩转数据-Hadoop 集群搭建和简单应用
大数据-玩转数据-Hadoop 集群搭建和简单应用目录• 概念了解• 集群服务器规划• 软件安装步骤概述• Hadoop安装o 1、规划o 2、上传解压缩o 3、修改配置文件o 4、把安装包分别分发给其他的节点o 5、配置Hadoop环境变量o 6、查看hadoop版本o 7、Hadoop初始化o 8、启动o 9、查看4台服务器的进程o 10、启动HDFS和YARN的web管理界面• Hadoop的简单使用o 创建文件夹o 查看创建的文件夹o 上传文件o 下载文件o原创 2021-12-20 16:48:25 · 767 阅读 · 0 评论