![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop3
文章平均质量分 52
Java朱老师
以其昭昭,使人昭昭
展开
-
Hadoop3.3.1详细教程(八)MapReduce编程
MapReduce编程前置 在hadoop3.3.1/bin中加上winutils.exe hadoop.dll配置HADOOP_HOME、PATH环境变量如果运行时报以下异常:Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop需将 hadoop.dll拷贝到c:/windows/system32下在win10中,如果使用IDEA,需要使用管理员身份运行IDEA1创建Java项目,2 在项目原创 2021-09-23 11:30:10 · 1119 阅读 · 2 评论 -
Hadoop3.3.1详细教程(七)Java操作HDFS
本文及讲解,在windows下开发。1.在windows下解压hadoop,在etc/hadoop中的hadoop.env.cmd修改以下值set JAVA_HOME="C:\PROGRA~1\Java\jdk1.8.0_102"2.将winutils.exe、hadoop.dll放到hadoop\bin下如果运行时报以下异常:Exception in thread "main" java.lang.RuntimeException: java.io.FileNotFoundException:原创 2021-08-26 16:45:48 · 1641 阅读 · 0 评论 -
Hadoop3.3.1详细教程(六)HDFS常用命令
在Linux控制台中,可以使用Hadoop自带的客户端,进行命令行操作,常见命令如下所示:(1)查看帮助 hdfs dfs -help (2)查看当前目录信息 hdfs dfs -ls / (3)上传文件 hdfs dfs -put /本地路径 /hdfs的路径 (4)剪切文件 hdfs dfs -moveFromLocal a.txt /aa.txt (5)下载文件到本地 hdfs dfs -get /hdfs的路径 /本地路径原创 2021-08-23 15:11:51 · 695 阅读 · 0 评论 -
Hadoop3.3.1详细教程(五)Hadoop全分布式搭建
一、haoop解压、创建软连接将hadoop-3.3.1.tar.gz上传到服务器~/apps下tar -xf hadoop-3.3.1.tar.gz -C /usr/local进入/usr/local 后使用 ln -s hadoop-3.3.1 hadoop3 创建一个软连接二、配置环境变量在/etc/profile.d下使用vi命令新建hadoop.shexport HADOOP_HOME=/usr/local/hadoop3export PATH=$PATH:$HADOO原创 2021-08-23 15:08:39 · 2251 阅读 · 1 评论 -
Hadoop3.3.1详细教程(四)Linux集群搭建+免密登录
一、修改主机名分别为hp2、hp3二、设置静态IP地址分别为192.168.150.12 192.168.150.13三、设置免密登录在hp1上,生成公钥私钥ssh-keygen -t rsa每出现一次提示:按一次回车。会再~用户目录下创建一个.ssh的文件夹其中id_rsa是私钥id_rsa.pub是公钥authorized_keys 批准(授权)的key,别的机器要免密登录本机,即把公钥ssh-copy-id到本机,即存在这里。以下命令是将本机公钥拷贝到目标机器上ssh原创 2021-08-23 14:53:02 · 1387 阅读 · 0 评论 -
Hadoop3.3.1详细教程(三)克隆样机+JDK安装
关闭hp0虚拟机右键 选择 管理 克隆下一步起名,存储位置一、修改主机名hp1二、设置静态IP地址根据样机修改ip地址修改192.168.150.21三、设置hosts文件vi /etc/hosts添加上:192.168.150.101 hp1192.168.150.102 hp2192.168.150.103 hp3保存四、安装JDK先卸载openjdk查看已经安装的安装包rpm -qa | grep openjdk批量卸载命令rpm -qa | grep原创 2021-08-23 14:50:06 · 1271 阅读 · 0 评论 -
Hadoop3.3.1详细教程(二)样机配置
1设置主机名可以在装机时候在network中设置主机名,亦可以使用vi /etc/hostname 设置2.修改IP地址:在vm的菜单栏中,选择“编辑”,选择虚拟机网络设置:点开NAT设置:使用 root账户登录系统编辑文件ifcfg-ens33vi /etc/sysconfig/network-scripts/ifcfg-ens33修改如下项ONBOOT=yesBOOTPROTO=staticIPADDR=192.168.150.99NETMASK=255.255.255.0原创 2021-08-23 14:41:22 · 1434 阅读 · 0 评论 -
Hadoop3.3.1详细教程(一) 虚拟机搭建
Hadoop3.3.1发布于2021年6月,是目前最新的Hadoop版本。搭建环境:VM+CentOS7打开VM WorkStation Pro选 典型安装(图略)选择光盘映像文件.iso:创建一个新用户,输入用户名、密码。但是我们在实际使用中,基本上用的是root用户,密码等同于以下设置的。为虚拟机创建名称,将虚拟机的物理文件安装在某一文件夹下(不要放在中文目录下):选择磁盘大小,选择将虚拟磁盘拆分成多个文件:点击自定义硬件:根据自己电脑实际配置,如果是16G内存,建议将内原创 2021-08-23 14:36:56 · 1530 阅读 · 0 评论