Hadoop
关于Hadoop的一些必要的笔记
JCLightZZ
别裁伪体亲风雅,转益多师是汝师。
展开
-
Linux搭建hadoop高性能集群(一)
文章目录关于此篇(题外话)Linux系统搭建hadoop高性能集群(一)第一步 虚拟机的安装第二步 创建一个虚拟机第三步 虚拟机启动初始化第四步 虚拟机克隆第五步 Linux系统网络配置IP地址配置配置主机名和IP映射网络参数配置注意第六步 SSH服务配置第七步 JDK安装相关资料关于此篇(题外话)目前,作者也还是一名默默无闻的大学生,之所以写这篇文章,主要是最近接到了不少朋友的求助,他们...原创 2020-05-02 01:06:44 · 696 阅读 · 2 评论 -
Linux搭建hadoop高性能集群(二)
文章目录关于此篇Linux系统搭建hadoop高性能集群(二)第一步 Hadoop集群配置第二步 配置Hadoop集群的主节点修改hadoop-env.sh文件修改core-site.xml文件修改hdfs-site.xml文件修改mapred-site.xml文件修改yarn-site.xml文件修改slaves文件第三步 将集群主节点的配置文件分发到其他子节点问题相关资料关于此篇之前,我...原创 2020-05-02 01:10:30 · 428 阅读 · 0 评论 -
Hadoop学习笔记(一)—— 使用java API操作HDFS中遇到的问题
Hadoop学习笔记(一)——(使用java API操作HDFS中遇到的问题)问题记录1、文件树中缺少文件2、pom.xml文件报错3、从HDFS下载文件到本地时报错且所下载的文件内容为空拓展学习1、关于eclipse中使用的单元测试@Test的相关概念2、关于偏移量的相关概念得一寸进一寸,得一尺进一尺,不断积累,飞跃必来,突破随之。问题记录1、文件树中缺少文件(1)关于创建Mav...原创 2020-04-21 16:16:45 · 1168 阅读 · 0 评论 -
Hadoop学习笔记(二)—— 关于eclipse的使用问题
Hadoop学习笔记(二)—— 关于eclipse的使用问题前言问题一 —— 编译器汉化将eclipse换为中文版将eclipse换为原版问题二 —— 更改快捷键时报错结语真正的人生,只有在经过艰难卓绝的斗争之后才能实现。 ——塞涅卡前言近期在学习Hadoop时,总会在编译器的应用方面出错。因为hadoop本身就是用Java语言编写的,掌握使用Java API操作...原创 2020-04-24 00:38:37 · 297 阅读 · 0 评论 -
Hadoop学习笔记(三)—— 关于Windows下的Hadoop配置
Hadoop学习笔记(三)—— 关于Windows下的Hadoop配置前言配置Windows下的Hadoop运行环境资源链接前言之前在使用Java API操作hadoop时,并未对Windows下的hadoop环境进行配置,直接使用了FileSystem类中自带的方法,跳过了配置hadoop运行环境这一步骤,主要在于方便,其次配置Windows下的hadoop运行环境要将部分文件放在C盘下,...原创 2020-04-24 21:23:09 · 199 阅读 · 0 评论 -
Hadoop学习笔记(四)—— Zookeeper分布式集群部署
文章目录前言第一步 上传Zookeeper的安装包第二步 解压安装包第三步 修改Zookeeper的配置文件第四步 创建myid文件第五步 配置环境变量第六步 分发zookeeper的相关文件至其他服务器第七步 使环境变量生效效果验证相关软件前言之前,我们在CentOS上部署了hadoop集群,在后期的使用中,为了减轻构建健壮的分布式系统服务,我们这里还要部署Zookeeper分布式协调服务。...原创 2020-05-02 01:55:19 · 283 阅读 · 0 评论 -
Hadoop学习笔记(五)—— 搭建Hadoop HA集群
文章目录三台虚拟机的集群节点规划搭建环境准备搭建Hadoop HA集群配置core-site.xml文件配置hdfs-site.xml文件配置mapred-site.xml文件配置yarn-site.xml文件配置slaves文件配置hadoop-env.sh文件分发目录初次启动Hadoop HA集群步骤效果验证问题三台虚拟机的集群节点规划服务器Name NodeData Node...原创 2020-05-06 23:18:04 · 270 阅读 · 0 评论 -
Hadoop学习笔记(六)—— Hive数据仓库的安装
文章目录前言本地模式下安装Hive第一步 安装并启动MySql服务第二步 连接MySQL并登录MySQL服务第三步 将Hive的jar包上传至Linux下并解压第四步 Hive配置第五步 上传Mysql的连接驱动jar包资源前言在安装Hive之前,我们需要了解Hive的安装模式,Hive的安装模式有三种,分别是嵌入模式、本地模式和远程模式,三种模式的安装方式不同,且各有优劣,这里我们采用本地模式安装。如果在Linux系统上无法在线下载apache旗下的产品,可采用windows下下载jar包,上传至L原创 2020-05-08 19:05:32 · 310 阅读 · 0 评论 -
Hadoop学习笔记(七)—— Flume的安装配置
文章目录前期准备Flume安装步骤第一步 将下载好的Flume版本上传至Linux上第二步 flume-env.sh环境变量配置第三步 在profile文件中添加flume的系统环境变量实验验证结语前期准备JDK版本:1.8以上JDK版本与Flume版本要对应这里采用JDK版本为1.8.0,Flume的版本1.8.0Flume安装步骤第一步 将下载好的Flume版本上传至Linux上下载地址:http://flume.apache.org/download.html下载完成后,使原创 2020-05-11 01:11:30 · 813 阅读 · 0 评论 -
Hadoop学习笔记(八)—— Azkaban的部署
文章目录前期准备Azkaban的部署第一步 上传下载好的文件第二步 Azkaban源文件编译第三步 MySQL安装配置第四步 Azkaban Web服务安装配置配置azkaban.properties文件配置azkaban-users.xml文件配置log4j.properties文件第五步 Azkaban Executor服务安装配置配置azkaban.properties文件效果验证Azkaban运行时的坑前期准备Azkaban是Apache旗下的一款工作流管理器,由于它的使用和配置相对简单,且易于原创 2020-05-13 14:43:34 · 403 阅读 · 0 评论 -
Hadoop学习笔记(九)—— Sqoop安装配置
文章目录前言第一步 安装Sqoop第二步 修改必要的配置文件修改sqoop-env.sh配置文件配置sqoop系统环境变量效果展示前言Sqoop是一个数据迁移工具,通过使用Sqoop可以将数据从关系数据库导入到Hadoop文件系统中,反之亦可。Sqoop主要分为Sqoop1和Sqoop2两个版本,其中Sqoop1部署方便且结构简单,适合简单的数据迁移工作。这里只是用于学习需要,所以只展示部署Sqoop1的步骤。第一步 安装Sqoop这里还是使用rz命令上传下载好的sqoop-1.4.6.bin__h原创 2020-05-14 09:07:19 · 560 阅读 · 0 评论