Hadoop
铭chen
一名正在努力学习本专业(数科,大数据)技术的学生····
展开
-
Hadoop2.x的集群搭建与配置(七)——Hadoop安装与配置
这一步开始正式搭建hadoop,但是要确保前面的每一步都完成首先要下载一个一些工具:1.hadoop的安装包,linux版本的,后缀名市是tar.gz的这种2.跨平台数据传输工具,这里推荐使用xshell和xftp,xshell用来链接linux,而xftp则用来将一些文件从本机传到linux中(这个是在本机安装的,不要放到虚拟机里)第一步:将hadoop的安装包传输到master...原创 2020-03-21 14:49:00 · 283 阅读 · 0 评论 -
Hadoop2.x的集群搭建与配置(一)——概述
我配置hadoop的时候用的时Linux系统(推荐)的CentOS7,由于本机是window10,所以需要借助虚拟机,这里我选用的是VMware这一章不说太多细节操作,说一些理论概述什么的东西,看操作的朋友可以跳过了。整个Hadoop的部署: 安装方式大概有两种:传统解压包方式和Linux的标准方式,各有优劣 ...原创 2019-04-09 21:20:10 · 307 阅读 · 0 评论 -
Hadoop2.x的集群搭建与配置(二)——虚拟机配置
这一章,主要说一说虚拟机的安装(由于不专业做博客,仅当笔记所以就不妨图片了,全文文字赘述)我用的虚拟机是:VWare Workstations15(这个东西不是越新越好,新就代表着存在过去版本没有的东西,也就是你做的东西别人可能用不了),所以再以后选版本的时候我有选择12版本下载这个虚拟机没什么好说的,正常软件下载操作就可以了(注意到官网下载,以免中毒, 顺便支持付费正版)还有下载Ce...原创 2019-04-09 21:55:35 · 184 阅读 · 0 评论 -
Hadoop2.x的集群搭建与配置(三)——VMware下CentOS7的安装与配置
这一章说的是如何安装CentOS7书接上文,刚刚打开配置好的虚拟机会出现有个问题——你的CentOS系统并没有初始化打开虚拟机后首先会出现让你选择语言的界面,这个大姐各凭喜好(不过强烈推荐English Untied States,不然以后容易出一些稀奇古怪的问题),选择后先级右下角的continue然后进入的界面叫INSTALATION SUMMARY,这个界面会让你对系统进行一些选...原创 2019-04-13 11:39:17 · 114 阅读 · 0 评论 -
Hadoop2.x的集群搭建与配置(四)——CentOS7的网络配置
好久也没更新,这次应该到了部署网络的步骤了之前创建虚拟机的时候说过一嘴,这里比较麻烦,不着急,所以当时先选择了仅主机模式,不过这样的话无法满足需求,这章开始正确配置CentOS的网络启动CentOS并登入后:首先打开开始菜单,搜索“”设备管理器“, ——网络适配器,选中网络适配器,点击设备管理器工具栏中的操作——添加过时硬件在添加过时硬件中选择:安装我手动从列表中选择(高级)——网...原创 2019-04-23 11:35:26 · 494 阅读 · 0 评论 -
Hadoop2.x的集群搭建与配置(五)——ssh免密钥登录
最后一步了(忘记是第几次说了,不过这次应该是真的),ssh免密钥登录毕竟分布式工作的时候要不停的相互访问,但是每个结点都像一个独立的家庭,串门的话首先要相互都认识才行(能够相互ping通),然后还要相互熟悉到一定程度,以至于可以肆无忌惮的相互进门访问(这不现实,除非你有我家门的钥匙,能够直接进来),ssh相互免密钥登录就是这个意思。每个虚拟机都有一个公钥和私钥(id_rsa为私钥,id_r...原创 2019-07-23 14:59:48 · 150 阅读 · 0 评论 -
Hadoop2.x的集群搭建与配置(六)——JDK安装配置
这一步需要一个小工具,用来来连接主机和虚拟机之间,毕竟你要上网下载jdklinux版本的安装包(推荐jdk8,各方面条件都不错,还是那句话,最新的不是最好的),然后要在linux上安装配置。毕竟你的虚拟机不能上网(主要是我之前也没告诉你们怎么弄,主要是因为虚拟机上我个人认为不方便,不安全,不适合联网),所以我们要在windows上下载,然后通过小工具传输到linux上。我所使用的小工具叫X...原创 2019-07-23 15:31:05 · 238 阅读 · 0 评论 -
Hadoop2.x的集群搭建与配置(七)——Hadoop安装配置
终于进入了最核心,同样也是为以后打的最基础的操作——hadoop的集群安装与配置要问那之前的算什么 emmm充其量算是虚拟机啦,linux啦,基础环境什么的准备工作话不多说,正式开始。首先,我们需要去官网下载个hadoop的包,要linux版本的压缩包,应该是以tar.gz为结尾的,至于版本,不要最新的,因为最新的话很可能会出现生态圈开发不完全,与低版本不匹配等情况,我们这里以2...原创 2019-08-13 14:52:23 · 260 阅读 · 0 评论