![](https://img-blog.csdnimg.cn/20190918140145169.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Big Data
大数据,从入门到放弃……
程序员小菜鸡_
累……
展开
-
MapReduce程序设计——单词共现
MapReduce程序设计:单词共现准备数据自己准备一段500词左右的英文文本。每个人都要不一样。MapReduce程序设计编写单词共现程序,窗口大小为5WholeFileInputFormatimport java.io.IOException;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;...原创 2020-01-08 21:41:50 · 448 阅读 · 0 评论 -
MapReduce关系代数运算——自然连接
MapReduce关系代数运算——自然连接关系沿用之前的R。创建两个文件表1 studentidnamesexage1Amyfemale182Tommale193Sammale214Johnmale195Lilyfemale216Rosefemale20表2 gradeidcla原创 2020-01-08 19:41:29 · 3999 阅读 · 7 评论 -
MapReduce关系代数运算——差
MapReduce关系代数运算——投影关系沿用上一个选择运算的关系R和S,StudentR类也是一致的,本博文中就不赘述了。MapReduce程序设计DifferenceMapimport org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapre...原创 2020-01-08 19:26:50 · 969 阅读 · 0 评论 -
MapReduce关系代数运算——交
MapReduce关系代数运算——交关系沿用上一个选择运算的关系R,并仿照R,再创建一个文件S。求R与S的交。StudentR类也是一致的,本博文中就不赘述了。MapReduce程序设计**IntersectionMap **import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable...原创 2020-01-08 19:15:55 · 1444 阅读 · 0 评论 -
MapReduce关系代数运算——投影
MapReduce关系代数运算——投影关系沿用上一个选择运算的关系R,StudentR类也是一致的,本博文中就不赘述了。MapReduce程序设计Projectionimport org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Long...原创 2020-01-08 18:47:59 · 2013 阅读 · 0 评论 -
MapReduce关系代数运算——选择
MapReduce关系代数运算常见的MapReduce关系代数运算有:选择、投影、并、交、差以及自然连接操作等,本文将介绍选择运算。后续博文介绍其他运算。关系R关系Ridnameagegrade1张小雅20912何芳18983李婷21824孙强2095将关系R储存再R.txt中,上传到hdfs的/input目录下Ma...原创 2020-01-08 17:51:30 · 2379 阅读 · 0 评论 -
MapReduce程序设计——WordCount
一、实验目的熟悉HDFS的命令行操作和Java访问HDFS的方法二、实验平台操作系统:LinuxHadoop版本:2.7.1。Maven三、实验步骤安装Eclipse:注意林子雨老师的镜像中包含的Eclipse没有Maven,请卸载之后安装一个较新版本的Eclipse更改Maven本地源:新建Settings.xml文件,复制下面的内容<settings xm...原创 2020-01-08 15:38:51 · 723 阅读 · 0 评论 -
安装Apache Hadoop2.7.1教程
教程环境hadoop2.7.1 Ubutun16.06 JDK1.8详细下载教程本教程暂不提供添加用户创建Hadoop用户(必不可少的,否则后面会因为权限问题导致无法搭建集群)添加Hadoop用户sudo useradd -m hadoop -s /bin/bash设置新用户密码sudo passwd hadoop为新用户添加管理员权限sudo adduser...原创 2020-01-07 13:31:01 · 1136 阅读 · 0 评论