![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
big data
文章平均质量分 95
fadeless_3
这个作者很懒,什么都没留下…
展开
-
sparkRDD编程实验
实验平台 操作系统:Ubuntu16.04 Spark版本:2.4.0 Python版本:3.4.3 实验一:pyspark交互式编程 本作业提供分析数据data.txt,该数据集包含了某大学计算机系的成绩,数据格式如下所示: Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,DataBase,90 Jim,Algorithm,60 Jim,DataStructure,80 …… 请根据给定的实验数据,在pyspark中通过编程来计算以下内原创 2021-06-09 14:03:27 · 4390 阅读 · 4 评论 -
Ubantu 0基础到MapReduce创建WordCount项目
在Windows中使用VirtualBox安装Ubuntu (一)1.Ubantu在VirtualBox上安装 (1)开机时按F2(每台电脑不一样)进入BIOS,确认CPU开启了虚拟化技术(Virtual Technology)为Enabled。并在网上下载并安装VirtualBox。 (2)安装完VirtualBox后,新建虚拟电脑 (3)分配内存以及创建虚拟硬盘 (4)选择硬盘文件类型VDI (5)虚拟硬盘选择动态分配,选择文件存储的位置和容量大小 (6)选择下载的Ubuntu LTS 14.原创 2020-12-17 20:54:09 · 580 阅读 · 0 评论 -
在MapReduce中运行WordCount以及字数统计中遇到的问题
在MapReduce中运行WordCount以及字数统计中遇到的问题 运行环境:Ubantu的eclipse下 此操作需要在配置好了hadoop和hdfs的基础上运行MapReduce 常见问题: 打开eclipse后查看不到MapReduceLocaltion,原因可能是没有开启hadoop,或者eclipse文件没有配置好 运行WordCount.java,代码没有错误,运行报错问题,原因可能是output下已存在输出文件,解决方法,换一个输出文件夹,如output2,或者删除output文件夹下的文原创 2020-12-16 21:09:51 · 803 阅读 · 0 评论