- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 MapReduce实现改进版WordCount词频统计
新手入门MapReduce实现改进版WordCount词频统计一、实验任务要求本实验是为了实现改进版的词频统计WordCount。要求根据所给的英文名著数据集和停用词表，统计英文名著数据集中词频，过滤掉停用词，将统计结果按照词频降序排序，词频相同的词按照字典序排序。英文名著数据集和停用词表再此处（提取码：ceij）二、实验工具和环境配置说明电脑安装了Vmware软件，搭建Centos7系统环境，配置了Hadoop2.7.4单机伪分布环境并安装eclipse编程软件，使用Java语言完成实验任务。
2020-07-01 20:20:42
2644
原创 MapReduce实现KNN算法
MapReduce实现KNN算法一、实验任务要求本实验是为了通过实现K近邻算法（KNN）将所给鸢尾花数据集进行分类。要求根据所给数据，在“训练集大，测试集小”的情况下实现KNN算法，并通过使用Combiner提高算法并行化工作效率，减轻Reducer的负担。二、实验工具和环境配置说明电脑安装了Vmware软件，搭建Centos7系统环境，配置了Hadoop2.7.4单机伪分布环境并安装eclipse编程软件，使用Java语言完成实验任务。数据采用的鸢尾花的demo数据添加链接描述提取码：ada4
2020-06-30 21:27:43
3963
2
原创 centos搭建单机伪分布式MongoDB集群
centos搭建单机伪分布式MongoDB集群一、实验任务要求使用一台虚拟机搭建伪分布式的MongoDB集群。集群有六台机器，分成六个副本集，S1,S2,S3,S4,S5,S6，每个副本集分三个节点。同一副本集中的节点有一个主节点，两个从节点，从节点的数据与主节点一致；OS为mongos进程（路由服务器）；C为config server（配置服务器），设置了三个配置服务器。熟悉使用MongoDB的增删改查操作。1.安装与配置（1）首先，从官网上下载好安装包解压到opt文件夹，命名为mongodbt
2020-06-29 22:26:58
2384
3
原创 搭建Redis分布式集群
搭建Redis分布式集群一、实验任务要求使用两台虚拟机搭建六个节点的Redis集群，熟悉Redis的使用。二、实验工具和环境配置说明电脑安装了Vmware软件，准备两台虚拟机搭建Centos7系统环境，配置桥接模式下的静态IP，保证两台虚拟机能够ping通。三、步骤1.安装与配置首先，扩充yum源，yum install -y epel-release安装Redis，yum install -y redis其实，一个Redis节点在我们这里就是一个Redis进程，所以我们要在两台电脑
2020-06-29 13:18:15
269
1
原创 Hadoop2.10.0环境搭建（单机伪分布）
Hadoop2.10.0环境搭建（单机伪分布）首先准备一台装有centos7的虚拟机，然后进行下载与安装。下载Hadoop与配置jdk我们首先从hadoop的 release页面下载需要的版本，我选择的是2.10.0版本，两种文件，source是源代码（想查看源代码可以下载），binary是我们用来搭建环境的安装文件。将文件解压到你自己的目录（我存放的位置是/usr/local）下：t...
2020-04-21 17:18:44
1596
1
MapReduce进行大数据分析.pdf
2020-06-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人