Hadoop的伪分布式安装

已于 2022-11-20 15:42:57 修改
阅读量262 收藏
点赞数
文章标签： hadoop 分布式 eclipse
于 2022-11-20 15:40:03 首次发布
原文链接：https://blog.csdn.net/weixin_45962068/article/details/126042523
版权

环境信息
1. 硬件：
内存ddr3 4G及以上的x86架构主机一部
系统环境：windows

2. 软件：
运行vmware或者virtualbox
Hadoop 集群
3. 其他: 无

步骤与方法
1.安装MapReduce并配置运行环境
1.在此主要介绍在master服务器下，使用eclipse进行MapReduce开发。
2.首先安装eclipse命令如下：apt-get install eclipse
3.下载eclipse开发hadoop2.20MapReduce插件hadoop-eclipse-plugin-2.2.0.jar提供一个网址免费下载链接：http://download.csdn.net/detail/jintiaozhuang/7684553
4.将下载好的插件放入eclipse安装目录下的dropins文件夹中。


5.放置好之后，重启eclipse,按照1、2、3进行操作，如下图

6.紧接着如下图进行如下操作：

7.以上步骤完成后，会在eclipse左边出现DFSXX目录可以进行如下操作：


此时将可以看到HDFS文件存储结构，并可以尝试进行上传，下载创建等操作如能正常操作则至此Hadoop MapReduce开发平台搭建完毕。

2. 使用Eclipse创建MapReduce工程
1.首先在浏览器下载eclipse，解压eclipse安装包
首先将eclipse安装包复制到/opt下：
cp/home/hadoop/Downloads/eclipse-jee-neon-1a-linux-gtk-x86_64.tar.gz /opt/
2.接着解压：
tar -zxvf eclipse-jee-neon-1a-linux-gtk-x86_64.tar.gz
3.使用符号连接目录
ln -s /opt/eclipse/eclipse /usr/bin/eclipse
4.创建一个桌面启动器
vim /usr/share/applications/eclipse.desktop
添加如下代码：

1.    [Desktop Entry]
2.    Encoding=UTF-8
3.    Name=Eclipse
4.    Comment=Eclipse
5.    Exec=/usr/bin/eclipse
6.    Icon=/opt/eclipse/icon.xpm
7.    Categories=Application;Development;Java;IDE
8.    Version=1.0
9.    Type=Application
10.    Terminal=0

5.下载Hadoop-Eclipse插件，要注意hadoop版本的对应
下载网址为
http://download.csdn.net/detail/tondayong1981/9668289
6.将插件放在解压后的eclipse的plugins目录下
7.重启eclipse，然后打开Windows-Preferences，在窗口左侧的Hadoop Map/Reduce选项设置hadoop的安装路径
8.Eclipse上，打开Windows-Perspective-Open Perspective-Other，选择MapReduce，点击OK，然后在General处配置MapReduce的Location name（此处我填的是myhadoop）、Map/Reduce Master（此处我填的是Host：master，Port：9001）以及DFS Master（此处我填的是Port：9000）。只要保证Map/Reduce Master和DFS Mastrer，Host和Port配置成与core-site.xml的设置一致即可。
9.上述配置完毕后会在eclipse左侧Project Explorer处有DFS Locations显示


3. 理解分析WordCount分布式程序
运行环境：
CentOS-7.6-Minimal * 3 由Vmware平台搭建
三台主机对应IP地址：192.168.239.100 hadoop100
192.168.239.101 hadoop101
192.168.239.102 hadoop102
环境：hadoop-3.3.1 + JDK-8-251
三台虚拟机上节点分配：
hadoop100：DataNode NameNode NodeManager
hadoop200： ResourceManager NodeManager DataNode
hadoop300：NodeManager DataNode JobHistoryServer
程序的开发验证由PC机实现
Intellij IDEA 2018.4 + hadoop-2.7.7 + JDK-8-251 + Maven-3.3.9
这里我们对词频做出统计，我自己的刚开始是找的demo跑的，后来发现hadoop源码里面给出了这个算法的实现，不过自己网页的代码和源码里的代码是一致的运行的方式也大同小异。
原始数据：
word word
ss ss
ls
期望结果
cls 2
ss 2
word 2

(1)启动Hadoop
11.    cd hadoop-3.3.1/
12.    ./sbin/start-all.sh
1
2
(2) Mapper
① 将MapperTask传过来的原始文本内容转化成String

13.    第一行：word word
1
② 根据空格将每一行的String切分成独立的单词
③ 将单词输出为<key，<1,1,1,1, …> >，输出给Reducer

14.    <word,<1,1>>
1
（3）Reducer
① 汇总接收的单词，计数每个单词”1“的数量
② 输出<单词，key的总次数（累加）>
15. 输出：word，2

（4）Driver
① 获取配置信息，configuration不设定为默认值，创建job对象实例
② 指定本程序的jar包所在的本地路径
③ 关联Mapper和Reducer的业务类
④ 设置Mapper和Reducer的输出格式
⑤ 指定job的输入原始文件所在目录，输出文件所在目录
⑥ 提交job，提交成功打印数字0，否则打印1

数据与程序清单
在Hadoop集群上运行wordcount
1) 源码
16.    public class WordCount {
17.    
18.      public static class TokenizerMapper 
19.           extends Mapper<Object, Text, Text, IntWritable>{
20.        
21.        private final static IntWritable one = new IntWritable(1);
22.        private Text word = new Text();
23.          
24.        public void map(Object key, Text value, Context context
25.                        ) throws IOException, InterruptedException {
26.          StringTokenizer itr = new StringTokenizer(value.toString());
27.          while (itr.hasMoreTokens()) {
28.            word.set(itr.nextToken());
29.            context.write(word, one);
30.          }
31.        }
32.      }
33.      
34.      public static class IntSumReducer 
35.           extends Reducer<Text,IntWritable,Text,IntWritable> {
36.        private IntWritable result = new IntWritable();
37.    
38.        public void reduce(Text key, Iterable<IntWritable> values, 
39.                           Context context
40.                           ) throws IOException, InterruptedException {
41.          int sum = 0;
42.          for (IntWritable val : values) {
43.            sum += val.get();
44.          }
45.          result.set(sum);
46.          context.write(key, result);
47.        }
48.      }
49.    
50.      public static void main(String[] args) throws Exception {
51.        Configuration conf = new Configuration();
52.        String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
53.        if (otherArgs.length < 2) {
54.          System.err.println("Usage: wordcount <in> [<in>...] <out>");
55.          System.exit(2);
56.        }
57.        Job job = Job.getInstance(conf, "word count");
58.        job.setJarByClass(WordCount.class);
59.        job.setMapperClass(TokenizerMapper.class);
60.        job.setCombinerClass(IntSumReducer.class);
61.        job.setReducerClass(IntSumReducer.class);
62.        job.setOutputKeyClass(Text.class);
63.        job.setOutputValueClass(IntWritable.class);
64.        for (int i = 0; i < otherArgs.length - 1; ++i) {
65.          FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
66.        }
67.        FileOutputFormat.setOutputPath(job,
68.          new Path(otherArgs[otherArgs.length - 1]));
69.        System.exit(job.waitForCompletion(true) ? 0 : 1);
70.      }
71.    }


2) 测试数据
1.    import random
2.    import string
3.    
4.    f1 = open('1.txt', 'x')
5.    for x in range(10000):
6.        string0 = str(''.join(random.sample(
7.            ['z', 'n', 'm', 'l', 'k', 'j', 'i', 'h', 'g', 'f', 'e', 'd', 'c', 'b', 'a'], 4)))
8.        f1.write(string0)
9.        if x % random.randint(1, 50) == 0:
10.            f1.write(' ')
11.            continue
12.        if x != 9999:
13.            f1.write('\n')
14.    f1.close()

3) 上传自己的txt文件到hdfs
1.    $ hadoop fs -put /home/hadoop1/data/input/1.txt hdfs://192.168.239.100:9000/input
2.    #或者
3.    $ hadoop fs -put /home/hadoop1/data/input/1.txt /input
4.    #查看上传结果
5.    $ hadoop fs -ls /input
6.    
7.    #另：hdfs常用命令
8.    hdfs dfs -copyFromLocal #local/data /hdfs/data：将本地文件上传到 hdfs 上（原路径只能是一个文件）
9.    hdfs dfs -put /tmp/ /hdfs/ #和 copyFromLocal 区别是，put 原路径可以是文件夹等
10.    hadoop fs -ls / #查看根目录文件
11.    hadoop fs -ls /tmp/data #查看/tmp/data目录
12.    hadoop fs -cat /tmp/a.txt #查看 a.txt，与 -text 一样
13.    hadoop fs -mkdir dir #创建目录dir
14.    hadoop fs -rmr dir：#删除目录dir

4) 执行mapreduce
1.    #执行自己打包的demo
2.    $ hadoop jar WordCount_1-1.0-SNAPSHOT.jar com/hadoop1/wordcount.WdDriver /input/1.txt /out
3.    #在此之后，自己写的代码都需要如此执行，该执行方式的说明：
4.    #com/hadoop1/wordcount.WdDriver 对应的类是WdDriver，所在包:com.hadoop1.wordcount
5.    $ hadoop jar <jar文件>  <注明主类> <hdfs输入文件>  <hdfs输出文件>
6.    
7.    #执行官方源码中的WordCount
8.    $ hadoop jar /opt/module/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /input/1.txt /out

5) 查看运行结果
1.    $ hadoop fs -ls /out
2.    $ hadoop fs -cat /out/part-r-00000

出现的问题及解决方法
出现问题：未找到hadoop命令
Javajdk未找见，需要重新安装JDK
解决方案1： javaJDK指向出现问题，进入root后重新配置javaJDK，再从重新启动配置文件，问题解决。

结果、结果分析
编程实现如输⼊/输出内容。
输入：

1.    Hello Hadoop BigData
2.    Hello Hadoop MapReduce
3.    Hello Hadoop HDFS
4.    BigData Perfect

输出：

1.    BigData 2
2.    MapReduce 1
3.    Hello 3
4.    Hadoop 3
5.    HDFS 1

16.    public class WordCount {
17.    
18.      public static class TokenizerMapper 
19.           extends Mapper<Object, Text, Text, IntWritable>{
20.        
21.        private final static IntWritable one = new IntWritable(1);
22.        private Text word = new Text();
23.          
24.        public void map(Object key, Text value, Context context
25.                        ) throws IOException, InterruptedException {
26.          StringTokenizer itr = new StringTokenizer(value.toString());
27.          while (itr.hasMoreTokens()) {
28.            word.set(itr.nextToken());
29.            context.write(word, one);
30.          }
31.        }
32.      }
33.      
34.      public static class IntSumReducer 
35.           extends Reducer<Text,IntWritable,Text,IntWritable> {
36.        private IntWritable result = new IntWritable();
37.    
38.        public void reduce(Text key, Iterable<IntWritable> values, 
39.                           Context context
40.                           ) throws IOException, InterruptedException {
41.          int sum = 0;
42.          for (IntWritable val : values) {
43.            sum += val.get();
44.          }
45.          result.set(sum);
46.          context.write(key, result);
47.        }
48.      }
49.    
50.      public static void main(String[] args) throws Exception {
51.        Configuration conf = new Configuration();
52.        String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
53.        if (otherArgs.length < 2) {
54.          System.err.println("Usage: wordcount <in> [<in>...] <out>");
55.          System.exit(2);
56.        }
57.        Job job = Job.getInstance(conf, "word count");
58.        job.setJarByClass(WordCount.class);
59.        job.setMapperClass(TokenizerMapper.class);
60.        job.setCombinerClass(IntSumReducer.class);
61.        job.setReducerClass(IntSumReducer.class);
62.        job.setOutputKeyClass(Text.class);
63.        job.setOutputValueClass(IntWritable.class);
64.        for (int i = 0; i < otherArgs.length - 1; ++i) {
65.          FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
66.        }
67.        FileOutputFormat.setOutputPath(job,
68.          new Path(otherArgs[otherArgs.length - 1]));
69.        System.exit(job.waitForCompletion(true) ? 0 : 1);
70.      }
71.    }


心得体会
我们学习了Hadoop中，Mapreduce计算的相关知识，我们了解到了Hadoop中最重要组重要组成部分之一的MapReduce，了解到他主要用于海量大数据的计算和数据处理，MapReduce运行时分为两步，Map和Reduce部，客户端先向Mapreduce提交作业，首先Hadoop需要将这个大作业分解，分解为一个个特别小的数据集，然后分给Hadoop集群中的各个节点，每一个节点都需要先执行Map操作，然后在进行接下来的Reduce操作，当各个节点完成数据处理之后，再次统一提交，输出结果到客户端，完成此次MapReduce作业。本次实验我们学会了如何在Eclipse中进行MapReduce编程作业，这是大数据转业必须学会的基础分布式操作，在实验期间，我们遇见了很多问题，但经过团队的不懈努力，终于完成了本次实验，本次实验我们收获颇丰，也为我们以后的就业开拓了更广阔的视野。
————————————————
版权声明：本文为CSDN博主「小段学长」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_45962068/article/details/126042523

燧机科技SuiJi
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
博客
人员徘徊识别智能预警系统 YOLOv7
07-11 95
人员徘徊识别智能预警系统利用计算机视觉深度学习算法+边缘计算视频分析技术，人员徘徊识别智能预警系统对重要地区马上开展7*24h实时监测，一旦发现摄像头图片中有些人犹豫不定，人员徘徊识别智能预警系统会及时抓拍预警，并保存异常徘徊记录，便于之后查验、调研和收集证据，进而更有效的协助后台安全人员解决问题，平稳提升监控区域的安全防范整体实力。
博客
监狱视频行为分析监控系统 YOLOv5
07-11 68
监狱视频行为分析监控系统利用监狱现场已有的监控摄像头，监狱视频行为分析监控系统对提审室、监室内、放风场所、劳动场所、禁闭室等重要场景日常安保监控画面进行分析，监狱视频行为分析监控系统对监控画面中出现超出独特警员界限、出现异常徘徊、出现晚间起身、出现异常激烈运动、出现异常集聚等行为现象进行即时分析、提示预警提醒和抓拍留档。
博客
智慧监狱AI视频分析系统 CNN
07-11 84
智慧监狱AI视频分析系统通过智能化视频分析技术，智慧监狱AI视频分析系统改变了传统安防监控的一些原有缺陷，实现了监管方式从被动监控到智能自动监控的改变。智慧监狱AI视频分析系统可以识别分析：区域入侵检测、异常徘徊检测、睡岗离岗检测、跌倒检测、打架斗殴检测、视频骤变检测、遗留物检测、攀高识别、异常奔跑检测、独处时间过长检测等。
博客
智能行为分析摄像头 YOLOv3
07-11 271
智能行为分析摄像头主要采用了计算机视觉深度学习算法，智能行为分析摄像头利用现场已有的监控摄像头对现场监控画面当中的人员行为进行实时分析识别预警。智能行为分析摄像头可以实时分析个人行为，如：跌倒监测、抽烟识别、睡岗离岗识别、打电话识别、区域入侵识别、攀高识别、玩手机识别等。
博客
智能监控人体行为分析 Python
07-11 402
智能监控人体行为分析系统借助计算机视觉分析+边缘计算技术，智能监控人体行为分析系统利用现场已有的摄像头对监控画面中人员行为进行实时分析预警抓拍，智能监控人体行为分析系统能够分析和鉴别基本上姿态，包含“抽烟识别”，“跌倒监测”，“打电话识别”，“睡岗识别”，“不穿反光衣不戴安全帽以及安全带识别”，“离岗识别”，“玩手机识别”等。
博客
视频行为智能分析系统 YOLOv8
07-10 205
视频行为智能分析系统可以对现场监控画面视频流自动识别，视频行为智能分析系统实时分辨监控画面中违规行为情况，视频行为智能分析统发现问题后会主动抓拍预警现场同步有声音提示，能够对现场作业岗位开展状态异常检测，全天候监控现场人员打电话、睡岗、玩手机、离岗、抽烟等行为进行识别，一旦发现，马上抓拍警报。
博客
自动识别反光衣穿戴系统 YOLOv7
07-10 153
自动识别反光衣穿戴系统应用神经网络算法和边缘云计算分析来替代双眼，自动识别反光衣穿戴系统对监控画面进行实时分析识别，自动识别反光衣穿戴系统从相机视频流中抓拍图像和报警在摄像头可视范围内自动识别人员是不是戴安全帽和反光衣。一旦发现有人并没有按照规定穿戴佩戴安全帽、反光衣，系统会开展语音播报，并记录违规行为。
博客
工地视频监控行为分析 YOLOv5
07-10 267
工地视频监控行为分析对监控范围人员行为如高空作业安全带穿戴识别、安全帽佩戴识别、反光衣识别、工装着装识别等。当工地视频监控行为分析检测出人员未按要求在作业时穿戴安全带、安全帽、反光衣、工装时，系统连接当场语音广播提醒并抓拍传给后台监控留档保存。
博客
工地安全带穿戴监测系统 CNN
07-10 340
工地安全带穿戴监测系统通过计算机视觉+边缘计算视频分析，工地安全带穿戴监测系统自动对监控画面视频流进行分析识别，不需要人工干预；工地安全带穿戴监测系统对工地高空作业人员的安全带穿戴开展及时查验。当检测出人员未系安全带时，立即预警提醒，合理协助相关人员处理解决，最大程度地降低误报和漏报状况。
博客
人员行为智能分析系统 YOLOv3
07-10 583
人员行为智能分析系统主要包含行为分析和特征识别。人员行为智能分析系统以机器学习+边缘计算视觉分析为依托，对人员徘徊、人员集聚、物件遗留、打架斗殴、跌倒检测、安全帽佩戴识别、反光衣识别、区域人数统计、火焰检测等多个方面。人员行为智能分析系统根据AI神经元网络视觉分析优化算法，借助现场已有的监控摄像头对现场监控画面人员行为进行实时分析预警，发现违规行为立即抓拍上报。
博客
工地视频监控人员行为分析系统 Python
07-09 341
工地视频监控人员行为分析系统利用现场已有的监控监控摄像头实时分析现场视频画面，视频监控人员行为分析系统对监控区域内的人员行为识别如：打电话、睡岗、跌倒、离岗、玩手机、异常徘徊、抽烟等行为进行识别，工地视频监控人员行为分析系统可进行现场物体状态检测：区域入侵识别、物品遗留、人数超员识别等，有效提升现场人员作业积极性。
博客
工地AI视频行为分析系统 YOLOv8
07-09 333
工地AI视频行为分析系统通过现场安装的监控摄像头，工地AI视频行为分析系统对现场视频监控画面当中人员行为进行实时分析预警，工地AI视频行为分析系统在可以监测分析：安全帽佩戴识别、反光衣穿戴识别、抽烟识别、打电话识别、睡岗离岗识别、安全带佩戴识别、区域入侵识别、玩手机识别等，当系统检测到出现违规行为时马上预警信息，并联动现场音柱语音广播提醒，进一步提高现场安全作业监督效率。
博客
识别未戴安全帽系统 YOLOv7
07-09 343
识别未戴安全帽系统能从繁杂场景下对多个目标进行同时高精密识别，识别未戴安全帽系统分析和监测现场人员是不是佩戴安全帽，识别未戴安全帽系统大大提升了安全监督的时效性，减少了人力成本。识别未戴安全帽系统自动从现场部署的相机视频流中抓拍图像或者视频并警报。识别未戴安全帽系统远距离图像要求人体绝对高度超出总体图像的1/10，即人的双眼能够识别；近距图像要求需要暴露于上身。
博客
工地安全帽佩戴检测 YOLOv5
07-09 355
工地安全帽佩戴检测利用深度学习和神经网络算法，工地安全帽佩戴检测对监控区域人员安全帽佩戴实时检测，当工地安全帽佩戴检测系统检测到有人未按要求佩戴安全帽，马上预警提醒，报警记录可展示在后台监控系统页面，还可以将报警记录传送到手机。工地安全帽佩戴检测系统全天候不间断实时分析，大大提升了监控视频的效率，减少了人力监管成本。
博客
智慧工地安全帽抓拍系统 CNN
07-09 181
智慧工地安全帽抓拍系统可自动识别现场人员是不是戴安全帽，当智慧工地安全帽抓拍系统检测出未戴安全帽时，自动开启警报，提醒后台人员及时处理相关情况。智慧工地安全帽抓拍系统利用安装在工地现场的各类监控摄像头，创建智能ai视频监控分析系统，有效弥补传统方法和技术在监管中的缺陷。
博客
高空作业安全绳穿戴识别系统 YOLOv3
07-08 280
高空作业安全绳穿戴识别系统利用作业现场已有的摄像头，高空作业安全绳穿戴识别系统通过计算机视觉+视频ai分析技术，对高空作业人员进行实时监测。当高空作业安全绳穿戴识别系统检测出相关人员在高空作业未佩戴安全绳时，系统立即预警提醒，并把报警记录储存在服务器数据库中，同步将信息发到相关人员手机上，提升监管效果。
博客
智慧工地安全绳检测识别系统 Python
07-08 485
智慧工地安全绳检测识别系统利用现场已有的监控摄像头，智慧工地安全绳检测识别系统通过机器视觉+边缘计算实时分析监控画面数据不用人工控制；智慧工地安全绳检测识别系统可以及时发现监控区域人员未佩戴安全绳违规行为，迅速及时地给予预警提醒，协助后台人员高效的监督现场安全作业，推动施工作业智能化信息化。
博客
工地安全绳穿戴识别系统 YOLOv8
07-08 222
工地安全绳穿戴识别系统利用现场已经安好的监控摄像头，工地安全绳穿戴识别系统对监控视频画面开展实时监控分析，例如施工临边作业、洞口作业、工地攀登作业、工厂悬空作业和交叉作业等实时监控分析。工地安全绳穿戴识别系统一旦发现监控画面中相关人员并没有佩戴安全绳，系统会积极主动发给后台开启警报提示，并且同步给相关人员的手机上。
博客
施工人员未穿工作服检测 YOLOv7
07-08 319
施工人员未穿工作服检测系统是基于现场前端监控摄像头采集的视频画面，施工人员未穿工作服检测系统应用卷积神经网络算法和边缘计算视觉分析，施工人员未穿工作服检测系统替代后台人员的双眼，实时识别检测现场人员，一旦发现视频画面中有不穿工作服行为，及时警报提示通知安全人员进行处理，提高效率降低人力监控成本。
博客
施工现场不戴安全帽抓拍 YOLOv5
07-08 308
施工现场不戴安全帽抓拍利用现场已经有的摄像头，施工现场不戴安全帽抓拍运用机器视觉边缘计算和神经网络深度学习算法，对现场进出口、作业区域等人员违规行为识别、分析与预警提醒，施工现场不戴安全帽抓拍并把警报截屏和视频储存到后台。此外，施工现场不戴安全帽抓拍还可以识别现场人员抽烟、打电话、睡岗离岗、工服识别、玩手机识别等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值