Hadoop
王小明爱吃大菠萝
do more
展开
-
手写Hadoop WordCount
最近在学大数据,学了MapReduce之后写了个单词计数,将学习过程记录于此。 解释在代码里面,我就不再解释了。 环境说明: jdk1.8 hadoop-2.7.7 windows上配置好的带有hadoop环境的eclipse 1.自定义Mapper /* * LongWritable对应输入的key类型,默认是行的偏移量LongWritable * Text,对应上输入的value类...原创 2019-12-27 18:53:09 · 280 阅读 · 0 评论 -
Windows下eclipse配置hadoop
引言:最近在学大数据,感觉虚拟机里面的eclipse贼慢,遂在windows上的eclipse配置hadoop 环境说明: win10 jdk1.8 hadoop-2.7.7 hadoop-eclipse-plugin-2.7.7.jar 1.下载hadoop-eclipse-plugin-2.7.7.jar hadoop-eclipse-plugin-2.7.7.jar 2.将jar...原创 2019-12-26 14:57:39 · 385 阅读 · 1 评论 -
Linux(Ubuntu)下搭建Hadoop环境
1.虚拟机安装 大概步骤分为: 创建虚拟机(创建1台之后,可以进行克隆) 配置jdk 配置ssh、rsync 配置Hadoop 1.创建虚拟机 此处不做过多解释。我的是vmware+Ubuntu(18.04.1) 2.配置jdk 更新源sudo apt-get update,之前没有更新,找不到jdk 配置jdk。 在之前可以将服务器改成国外的服务器(在"软件和更新...原创 2019-09-04 20:42:47 · 414 阅读 · 0 评论 -
史上超详细基于Ubuntu搭建分布式Hadoop教程
在进行此教程之前,请确保伪分布式Hadoop已搭建完成。若没有搭建完成,请浏览上一篇博文 1、环境说明 Ubuntu14.0.4 Hadoop2.6.4 java-7-openjdk-amd64 VirtualBox 四个节点:master node1 node2 node3 内存分别为4GB 2GB 2GB 2GB 伪分布Hadoop主机,用于复制 2、设置node1...原创 2019-09-20 00:09:51 · 1269 阅读 · 0 评论