Hadoop
文章平均质量分 82
zoxiii
一条咸鱼|自我救赎|禁止打扰|禁止一切.
公司:开不起工作室
职位:保洁人员
职务:清扫一切工作室垃圾
展开
-
Hadoop【第十课】:完全分布式安装Hadoop
VMware workstationCentOS 7完全分布式安装author:zoxiii完全分布式安装1、安装JDK(1)下载JDK(2)传输JDK到虚拟机中(3)删除虚拟机原有的JDK(4)安装配置JDK2、安装Hadoop(1) 下载Hadoop(2)将Hadoop传输到虚拟机中(3)Hadoop解压缩:查看有哪些配置文件3、修改配置文件(1)为Hadoop配置JDK的路径(2)配置HDFS系统(3)配置完全分布式(4)配置Hadoop的mapreduce运行在yarn上(5)配置yar.原创 2022-03-10 23:11:10 · 3598 阅读 · 0 评论 -
【Hadoop】【MapReduce】好友推荐网络绘图
author:zoxiii原创 2021-11-30 13:04:32 · 1092 阅读 · 1 评论 -
【Hadoop】【MapReduce】实现实例:FriendRecommendation
MapReduceauthor:zoxiii1、新建工程Friend,点击Finish2、新建Java class代码如下:/** * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional informatio.原创 2021-11-26 18:02:59 · 1678 阅读 · 2 评论 -
Hadoop【第九课】:克隆两个虚拟机相互通信(完全分布式安装前提操作)
author:zoxiii克隆两个虚拟机,一个叫masternode,一个叫slavenode实现通信+ 添加权限- 取消权限-- 有关权限代号的部分r:读取权限,数字代号为“4”w:写入权限,数字代号为“2”x:执行或切换权限,数字代号为“1”- :不具任何权限,数字代号为“0”777 :所有权限[注]:3=1+2(wx) 5=4+1(rx)mkdir test创建test目录例如:sudo chmod u-rwx test 取消tes.原创 2021-11-07 22:49:10 · 1306 阅读 · 0 评论 -
Hadoop【第八课】:Hadoop在Eclipse上创建基于MapReduce的应用:WordCount
Hadoop的MapReduce应用1.创建Java Project2.导入Hadoop的Jar包(1)新建Use Libraries(2)目录/share/hadoop/common下的jar包(3)目录/share/hadoop/common/lib下的jar包(4)目录/share/hadoop/hdfs下的jar包(5)目录/share/hadoop/mapreduce下的jar包(6)为Java工程配置Jar包路径3.编写WordCount的代码(1)创建3个Java类文件(2)WCMapper.原创 2020-10-25 15:48:59 · 420 阅读 · 0 评论 -
Hadoop【第七课】:Linux安装、配置Eclipse
1.下载Eclipse首先进入Eclipse的官网中去下载Linux可用的Eclipse IDE for Java EE Developer版本。(建议不要下载比较新的版本)(1)选择:Download Packages(2)选择:Older Versions(3)选择:Kepler(4)选择:SR2 Packages(5)选择:Eclipse IDE for Java EE Developers的Linux x86-64版本下载(6)下载成功2.将下载的安装包上传到虚拟机中参原创 2020-10-24 17:13:26 · 340 阅读 · 0 评论 -
Hadoop【第六课】:Hadoop性能测试
Hadoop性能测试1.TestDFSIO2.1.TestDFSIO2.原创 2020-10-26 11:29:05 · 361 阅读 · 0 评论 -
Hadoop【第五课】:Hadoop测试HDFS系统上传下载功能
测试HDFS系统上传下载功能1.上传2.下载3.查看1.上传从root目录下把jdk文件上传到hdfs系统的根目录下并命名为jdk# hadoop fs -put /home/zox/jdk-8u221-linux-x64.tar.gz hdfs://localhost:9000/jdk2.下载从hdfs系统的根目录下将jdk下载到本地/home/文件夹下命名为jdk1.8# hadoop fs -get hdfs://localhost:9000/jdk /home/zox/jdk1.8原创 2020-10-25 13:51:40 · 333 阅读 · 0 评论 -
Hadoop【第四课】:Hadoop初始化
Hadoop初始化1.配置Hadoop环境变量2.启动Hadoop1.配置Hadoop环境变量(1)修改配置文件# vi /etc/profile修改如下内容:export HADOOP_HOME=/usr/local/src/hadoop/hadoop-2.7.7PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin(2)重启配置文件# source /etc/profile(3)查看hadoop版本# hadoop version2.启动Ha原创 2020-10-25 12:40:00 · 1288 阅读 · 0 评论 -
Hadoop【第三课】:虚拟机安装Hadoop(伪分布式)
目录1.下载Hadoop2.将文件传输到虚拟机中3.修改配置文件1.下载Hadoop2.将文件传输到虚拟机中3.修改配置文件原创 2020-10-25 11:28:37 · 228 阅读 · 0 评论 -
Hadoop【第二课】:虚拟机安装JDK(Java)
目录1.下载JDK2.传输JDK到虚拟机中3.删除虚拟机原有的JDK4.安装配置JDK1.下载JDK2.传输JDK到虚拟机中3.删除虚拟机原有的JDK4.安装配置JDK原创 2020-10-24 22:55:32 · 301 阅读 · 0 评论 -
Hadoop【第一课】:虚拟机NAT模式下配置网络地址
目录1.查看网段(1)打开虚拟机的“虚拟网络编辑器”(2)选择NAT模式→NAT设置(3)在这里可以看到网段2.配置静态IP地址(1)打开虚拟机,进入终端,进入root;(2)找到你的虚拟机的网络配置文件(3)修改配置文件(4)重启网络(5)测试是否配置成功1.查看网段(1)打开虚拟机的“虚拟网络编辑器”(2)选择NAT模式→NAT设置(3)在这里可以看到网段在这里可以看到网段为192.168.184.0,所以可以将虚拟机的IP地址设置在此网段下。网关设置为如图所示。2.配置静态IP地址原创 2020-10-24 19:07:07 · 2040 阅读 · 2 评论