![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 56
二琳爱吃肉
我在进阶大佬的路上
展开
-
【大数据实验】HDFS的应用:数字排序
目录实验内容实验步骤实验源码实验结果实验报告实验内容熟悉hadoop文件命令,熟悉在Linux编写、编译、运行Java程序的过程,实现文件的读写操作,读出数据并排序。实验步骤启动hadoopcd /usr/local/hadoop./sbin/start-dfs.sh判断hadoop是否启动成功,成功会有显示jps查看jar包cd /usr/local/hadoop/myappls上传文件test1.txt 和test2.txt将其存...原创 2021-12-11 16:26:26 · 1125 阅读 · 0 评论 -
【大数据实验】Mapreduce的应用:统计词频,输出出现次数最多的前十个单词
package sy;import java.io.IOException;import java.util.Collections;import java.util.Comparator;import java.util.HashMap;import java.util.LinkedList;import java.util.List;import java.util.Map;import java.util.Map.Entry;import org.apache.hadoop.co.原创 2021-12-11 16:04:58 · 4965 阅读 · 0 评论 -
大数据学习过程中用到的linux命令
大数据结课之后整理了一下Linux系统中的常用命令,希望对你有帮助。目录linux常用指令系统管理命令关机/重启机器linux常用指令Linux常用命令 ls 显示文件或目录 ls -l 列出文件详细信息l(list) ls -a 列出当前目录下所有文件及目录,包括隐藏的a(all) mkdir 创建目录 mkdir -p 创建目录,若无父目录,则创建p(parent) cd 切换目录 touch 创建空文件 e原创 2021-11-21 20:26:39 · 204 阅读 · 0 评论 -
Linux系统中vim编辑器的安装和使用方法
Linux系统中vim编辑器的安装和使用方法,包括在终端中输入命令安装vim编辑器,在终端中使用命令行新建文本文档、编辑后退出的方法。原创 2021-11-16 22:23:45 · 1993 阅读 · 0 评论 -
VMware安装Ubuntu教程
打开VMware,点击创建新的虚拟机 。选择自定义(高级),选中后单击下一步。点击下一步。如果你有Ubuntu镜像文件就选择第二个,选中镜像文件所在路径选好了就行,点击下一步。镜像文件Ubuntu16.04下载地址(官网):https://www.ubuntu.org.cn/download/ubuntu-kylin百度网盘:链接:https://pan.baidu.com/s/1vIInZ8Iqk_aSc9Dn122gXw提取码:b848.原创 2021-11-16 17:16:46 · 2618 阅读 · 2 评论 -
VMware安装教程
我的大数据实验烦死我了,virtualbox老罢工而且反映特别慢,气死我了,这周还得大数据查实验,算了从头再来吧,学大数据的听我一句,虚拟机别用virtualbox了,太垃圾了,又卡又慢。进入官网 :https://www.vmware.com/点击导航栏中的workspace,找到Workstation Pro进入页面后,点击download trial ,点击下载,有钱就买,没钱或者短时间内使用的就下载试用版。我大数据实验只剩一周了,我就下的试用版。选择对应的安装系统然后原创 2021-11-16 16:13:36 · 2201 阅读 · 0 评论 -
VirtualBox实现虚拟机和主机之间的粘贴板共享
在VirtualBox中上边的工具栏中找到设备,选中后在下拉菜单中找到共享粘贴板,根据你的需求,将已禁用改成主机到虚拟机。就这么简单,但是很有用啊。原创 2021-11-14 12:21:43 · 1885 阅读 · 0 评论 -
【大数据实验】熟悉常用的hadoop操作
熟悉常用的Hadoop操作一、使用hadoop用户登录Linux系统,启动Hadoop(Hadoop的安装目录为“/usr/local/hadoop”),为hadoop用户在HDFS中创建用户目录“/user/hadoop”$ cd /usr/local/hadoop$ ./sbin/start-dfs.sh$ ./bin/hdfs dfs -mkdir -p /user/hadoop二、接着在HDFS的目录“/user/hadoop”下,创建test文件夹,并查看文件列表原创 2021-10-28 20:01:48 · 6909 阅读 · 0 评论 -
【大数据实验】熟悉常用的Linux操作
目录熟悉常用的Linux操作cd命令:切换目录1.切换到目录“/usr/local”2.切换到当前目录的上一级目录3.切换到当前登录Linux系统的用户的自己的主文件夹ls命令:查看文件与目录1.查看目录“/usr”下的所有文件和目录mkdir命令:新建目录1.进入“/tmp”目录,创建一个名为“a”的目录,并查看“/tmp”目录下已经存在哪些目录2.进入“/tmp”目录,创建目录“a1/a2/a3/a4”rmdir命令:删除空的目录1.将上面创建的目录a原创 2021-10-28 19:35:02 · 5661 阅读 · 0 评论 -
【大数据】学习笔记——MapReduce体系结构
MapReduce体系结构MapReduce体系结构主要由四个部分组成,分别是:Client、JobTracker、TaskTracker以及Task。Client用户编写的MapReduce程序通过Client提交到JobTracker端 用户可通过Client提供的一些接口查看作业运行状态JobTracker JobTracker负责资源监控和作业调度 JobTracker 监控所有TaskTracker与Job的健康状况,一旦发现失败,就将相应的任务转移到其他.原创 2021-10-26 19:12:51 · 3727 阅读 · 0 评论 -
分布式文件系统HDFS简介
目录计算机集群结构HDFS的局限性:HDFS的优点:HDFS的主要组件名称结点NameNodeFSImage文件SecondaryNameNode第二名称节点数据节点(DataNode)计算机集群结构分布式文件系统在物理结构上是由计算机集群中的多个节点构成的,这些节点分为两类,一类叫“主节点”(Master Node)或者也被称为“名称结点”(NameNode),另一类叫“从节点”(Slave Node)或者也被称为“数据节点”(DataNode)H.原创 2021-10-21 19:06:55 · 1472 阅读 · 0 评论 -
在Win10上使用VirtualBox安装Ubuntu
在win10上安装VirtualBox:VirtualBox安装教程(Win10)含软件安装包一、在VirtualBox上新建虚拟机1.打开VirtualBox,点击创建,新建一个虚拟机。2.给虚拟机命名Ubuntu,对应的类型和版本会自动修改,64位操作系统建议选择Ubuntu64bit。3.选择内存大小,建议选择1024MB。4.创建虚拟硬盘,建议大小为8GB以上,8GB学习Hadoop是足够的,但是虚拟机要是需要安装其他软件的话,可以划分30GB的硬盘容量...原创 2021-10-20 22:14:54 · 1420 阅读 · 11 评论 -
大数据基础思维导图
无水印图片下载:链接:https://pan.baidu.com/s/1iYJTxoFjra3kHM-c6ualcQ提取码:oyd9原创 2021-10-12 18:59:48 · 1259 阅读 · 0 评论