![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop2
Java朱老师
以其昭昭,使人昭昭
展开
-
Hadoop2.8.5详细教程(十一)MapReduce编程
MapReduce编程前置 在hadoop2.8.5/bin中加上winutils.exe hadoop.dll配置HADOOP_HOME、PATH环境变量1创建Java项目,2 在项目下新建lib文件夹,将jar包拷贝进入3 在java bulid path中引入lib文件夹中所有的jar包4 编写 map、reduce、job代码map类:public class WordCountMap extends Mapper<LongWritable, Text, Text, IntWr原创 2021-09-23 11:57:13 · 593 阅读 · 0 评论 -
Hadoop2.8.5详细教程(十)界面版HDFS控制程序
本篇文章旨在完成一个Swing界面版的HDFS控制程序:1.新建一个testHDFS3项目2.因为我们上一个项目是使用分层开发,所以本次HDFSService类还和上个项目保持一样,只需要修改HDFSView:package view;import java.awt.Dimension;import java.awt.FlowLayout;import java.awt.event.ActionEvent;import java.awt.event.ActionListener;im原创 2021-11-18 10:32:51 · 994 阅读 · 2 评论 -
一个简单的Swing加法器
一个简单的Swing加法器。package a;import java.awt.Dimension;import java.awt.FlowLayout;import java.awt.event.ActionEvent;import java.awt.event.ActionListener;import javax.swing.JButton;import javax.swing.JFrame;import javax.swing.JLabel;import javax.swin原创 2021-11-09 18:04:59 · 937 阅读 · 1 评论 -
Hadoop2.8.5详细教程(九)命令行版HDFS控制程序
1.新建一个项目,在src下新建service包、view包,包下有如下图两个类。2.新建lib文件夹,将所需jar包拷贝进去,并添加到项目的java bulid path中3.编写代码,根据上一片文章中的TestHDFS类代码,改造HDFSService类:HDFSService.java:package service;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;原创 2021-10-28 11:22:00 · 747 阅读 · 0 评论 -
Hadoop2.8.5详细教程(八)Windows开发Java程序打成Jar包在Linux运行
在Windows开发Java程序打成Jar包在Linux运行。1.右键项目,选择【export】,在打开的如下图所示的Export界面,选择Java-JAR file,点击【next】2.点击按钮,选择保存导出后的jar文件夹位置,并给它取一个名字。点击【next】,3.如下图设置,点击【next】4.设置程序入口,点击browse。5.jar包生成完毕:6.上传到Linux服务器中的根目录/apps下:7.在linux中某个目录下新建一个文件进行测试:8.执行命令:hado原创 2021-10-21 12:06:06 · 1175 阅读 · 0 评论 -
Hadoop2.8.5详细教程(七)Java操作HDFS
在windows下开发1.在windows下解压hadoop,在etc/hadoop中的hadoop.env.cmd修改以下值set JAVA_HOME=“C:\PROGRA~1\Java\jdk1.8.0_102”2.将winutils.exe、hadoop.dll放到hadoop\bin下3.设置环境变量HADOOP_HOME=d:\software\hadoop\hadoop2.8.5在path变量中追加%HADOOP_HOME%\bin4.新建Java项目,项目下新建lib文件夹,将h原创 2021-09-23 11:55:41 · 1419 阅读 · 0 评论 -
Hadoop2.8.5详细教程(六)HDFS常用命令
hdfs常用命令行(1)查看帮助hdfs dfs -help(2)查看当前目录信息 hdfs dfs -ls / (3)上传文件 hdfs dfs -put /本地路径 /hdfs的路径 (4)剪切文件 hdfs dfs -moveFromLocal a.txt /aa.txt (5)下载文件到本地 hdfs dfs -get /hdfs的路径 /本地路径 (6)合并下载 hdfs dfs -getmerge /hdfs的原创 2021-09-23 11:53:55 · 621 阅读 · 4 评论 -
Hadoop2.8.5详细教程(五)Hadoop全分布式搭建
一、haoop解压、创建软连接将hadoop-2.8.5.tar.gz上传到服务器~/apps下tar -xf hadoop-2.8.5.tar.gz -C /usr/local进入/usr/local 后使用 ln -s hadoop-2.8.5 hadoop2 创建一个软连接二、配置环境变量在/etc/profile.d下使用vi命令新建hadoop.shexport HADOOP_HOME=/usr/local/hadoop2export PATH=$PATH:$HADOOP_H原创 2021-09-23 11:50:21 · 1619 阅读 · 1 评论 -
Hadoop2.8.5详细教程(四)Linux集群搭建+免密登录
一、修改主机名分别为hp2、hp3二、设置静态IP地址分别为192.168.150.12 192.168.150.13三、设置免密登录在hp1上,生成公钥私钥ssh-keygen -t rsa每出现一次提示:按一次回车。会再~用户目录下创建一个.ssh的文件夹其中id_rsa是私钥id_rsa.pub是公钥authorized_keys 批准(授权)的key,别的机器要免密登录本机,即把公钥ssh-copy-id到本机,即存在这里。以下命令是将本机公钥拷贝到目标机器上ss原创 2021-09-23 11:47:30 · 862 阅读 · 2 评论 -
Hadoop2.8.5详细教程(三) 克隆样机+JDK安装
关闭hp0虚拟机右键 选择 管理 克隆下一步起名,存储位置一、修改主机名hp1二、设置静态IP地址根据样机修改ip地址修改192.168.150.21三、设置hosts文件vi /etc/hosts添加上:192.168.150.101 hp1192.168.150.102 hp2192.168.150.103 hp3保存四、安装JDK先卸载openjdk查看已经安装的安装包rpm -qa | grep openjdk批量卸载命令rpm -qa | gr原创 2021-09-23 11:45:48 · 878 阅读 · 0 评论 -
Hadoop2.8.5详细教程(二) 样机配置
1设置主机名可以在装机时候在network中设置主机名,亦可以使用vi /etc/hostname 设置2.修改IP地址:在vm的菜单栏中,选择“编辑”,选择虚拟机网络设置:点开NAT设置:使用 root账户登录系统编辑文件ifcfg-ens33vi /etc/sysconfig/network-scripts/ifcfg-ens33修改如下项ONBOOT=yesBOOTPROTO=staticIPADDR=192.168.150.99NETMASK=255.255.255.原创 2021-09-23 11:41:36 · 998 阅读 · 0 评论 -
Hadoop2.8.5详细教程(一) 虚拟机搭建
Hadoop2在企业中还有广泛的应用,本次搭建使用Hadoop2版本本次Hadoop环境搭建为虚拟机下全分布式环境搭建,软件版本号为:Hadoop2.8.5、CentOS7、JDK1.8搭建环境:VM+CentOS7打开VM WorkStation Pro打开VM WorkStation Pro选 典型安装(图略)选择光盘映像文件.iso:创建一个新用户,输入用户名、密码。但是我们在实际使用中,基本上用的是root用户,密码等同于以下设置的。为虚拟机创建名称,将虚拟机的物理文件安装原创 2021-09-23 11:37:29 · 998 阅读 · 0 评论