Hadoop学习
图列
这个作者很懒,什么都没留下…
展开
-
Hadoop平台上实现PageRank算法
学习Hadoop已经有段时间了,自己尝试写了一下PageRank算法。1.mapperpackage myPageRank;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;import java.util.StringTokenizer;/** * @原创 2020-09-09 10:01:16 · 394 阅读 · 0 评论 -
Hadoop运行模式(二)
完全分布式运行模式一、准备3台虚拟机1.从先前配置好的虚拟机(hadoop100)上克隆三台虚拟机(hadoop101,hadoop102,hadoop103);2.设置三台主机:关闭防火墙,设置静态IP,修改主机名称。二、安装JDK和Hadoop,配置环境变量先在hadoop101安装配置,再分发到hadoop102,hadoop103;1.安装JDK(1).用Xftp工具将JDK导入到opt目录下面的software文件夹下面(2).在Linux系统下的opt目录中查看软件包是否导入成功原创 2020-07-13 11:57:45 · 116 阅读 · 0 评论 -
Hadoop运行模式(一)
Hadoop的三种运行模式Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式。1.本地(独立)模式无需任何守护进程,所有程序都在同一个JVM上执行。在本地模式下测试和调试MapReduce程序很方便。本地运行模式不需要额外的设置. 只需要执行响应的jar包就可以了。不需要任何的集群配置, 本地运行模式其实也是一种单节点模式。官方Grep案例创建在hadoop-2.7.2文件下面创建一个input文件夹mkdir input将Hadoop的xml配置文件复制到input原创 2020-07-01 13:07:07 · 309 阅读 · 0 评论 -
Hadoop学习之安装Hadoop
安装HadoopHadoop下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/1.用Xftp工具将hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹2.进入到Hadoop安装包路径下cd /opt/software/3.解压安装文件到/opt/module下面tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/4.查看是否解压成功ls /opt原创 2020-06-25 15:33:12 · 129 阅读 · 0 评论 -
Hadoop学习之安装JDK
安装JDK1.用Xftp工具将JDK导入到opt目录下面的software文件夹下面2.在Linux系统下的opt目录中查看软件包是否导入成功cd software/lshadoop-2.7.2.tar.gz jdk-8u144-linux-x64.tar.gz3.卸载现有JDK(1)查询是否安装Java软件:rpm -qa | grep java(2)如果有,卸载rpm -qa | grep java | xargs sudo rpm -e --nodeps4.解压JDK到/opt原创 2020-06-25 15:22:37 · 217 阅读 · 0 评论 -
Hadoop虚拟机配置
Hadoop虚拟机配置使用centos71. 关闭防火墙Hadoop集群内部防火墙内部时默认关闭的。服务关闭systemctl stop firewalld.service禁止开机firewall自启动systemctl disable firewalld.service查看状态,确认关闭(not running)firewall-cmd --state2. 创建hadoop100用户useradd hadoop100 passwd hadoop1003.在/opt目录下创建soft原创 2020-06-25 10:23:26 · 425 阅读 · 0 评论