云计算与大数据
利用虚拟机来搭建hadoop集群来学习云计算和大数据
小丸与小鹿
高大,威猛,潇洒的小菜花
展开
-
MapReduce和yarn集群
MapReduce和yarn集群 背景:我们在对HDFS上的文件进行操作的时候,之前我们需要通过先将原来的文件进行下载,在本地上进行编码运行和调试,再改文件并将其传入到hdfs中,但是这样的操作给我们带来了很多的不便。以下介绍通过框架MapReduce和yarn集群对HDFS上的数据进行操作。 MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)“和...原创 2019-11-02 16:06:19 · 242 阅读 · 0 评论 -
HDFS实战之保存数据
HDFS实战之保存数据 Hadoop分布式文件系统可以帮助我们存储很多的文件,今天给大家带来的是使用hdfs来定时保存本地的文件到hdfs(虚拟机)中。需求:启动定时任务。定时探测日志源目录,获取需要采集的文件。移动这些文件到待上传零时目录遍历待上传目录中个文件,逐一传输到HDFS的目标路径。同时将传输完成的文件移动到备份目录。启动一个定时任务:探测备份目录中的备份数据,检查是否...原创 2019-10-29 20:13:53 · 1753 阅读 · 0 评论 -
HDFS的核心工作原理
hdfs的核心工作原理namenode元数据管理要点1、什么是元数据? hdfs的目录结构及每一个文件的块信息(块的id,块的副本数量,块的存放位置<datanode>)2、元数据由谁负责管理? namenode3、namenode把元数据记录在哪里?namenode把实时的完整的元数据存储在内存中; namenode还会在磁盘中(dfs.namenode.name...原创 2019-10-29 18:31:48 · 204 阅读 · 0 评论 -
在Windows下使用java对Hdfs集群进行操作
在Windows下使用java对Hdfs集群进行操作 因为只要在虚拟机中打开了hdfs集群之后我们就可以在其他的地方对这个集群进行操作, 由于Linux每次都要写命令行,而且在虚拟机中操作数据也十分的不方便,所以我们可以在外面使用java程序来连接hdfs将数据传入到hdfs中保存在虚拟机内。环境准备 在windows下我们也要部署hadoop的环境变量让window知道hadoop的命令...原创 2019-10-26 16:07:03 · 881 阅读 · 0 评论 -
虚拟机内jdk安装以及hadoop集群环境安装
虚拟机内jdk安装以及hadoop集群环境安装一、jdk安装(1):将所给的jdk-8u的压缩包传进虚拟机内(可以使用FileZilla进行传输)(2):在linux系统下的opt目录中查看软件包是否导入成功[root@hadoop101opt]# cd software/ //进入文件夹目录下[root@hadoop101software]# ls //查看自己的目录下的文...原创 2019-10-22 20:19:51 · 613 阅读 · 0 评论 -
VM虚拟机网络设置
VM虚拟机网络设置VM虚拟机网络设置 目标:虚拟机设置完IP地址,能ping通百度、能ping通外面的windown系统,window能ping里面的虚拟机。 我们新建完虚拟机之后因为网络配置还没有配置所以现在里面的系统还不能上网上百度。 环境:VM14、CanOS6。 第一步:查看网络IP和网关 修改IP地址 第二步:配置网络IP地址 如果你的虚拟机是克隆过来的就需要修改一...原创 2019-10-22 20:07:57 · 884 阅读 · 0 评论 -
云计算与大数据环境准备之VM与CanOS安装
环境安装准备一、安装VMware Workstation Pro VMware Workstation Pro 使专业技术人员能够在同一个 PC 上同时运行多个基于 x86 的 Windows、Linux 和其他操作系统,从而开发、测试、演示和部署软件。因为我们自己需要通过多台设备进行大数据集群的分布,所以我们需要通过虚拟机来创建多台设备。软件下载链接:https://pan.baidu.c...原创 2019-10-17 16:13:09 · 432 阅读 · 0 评论 -
云计算和大数据课程开课简介
云计算和大数据课程开课简介 前言:小编今年还是大学的学生,这一学期学校开了有关于云计算、大数据、以及大数据仓库方面的课程,写这一系列的博客真正的意义并不在于说小编有学的多好(小编从小就是一个学渣),只是这是小编的一个学习的方式,将自己每一次学习到的东西进行总结的分享来加深对知识的理解,因为小编现在也是一个完全小白的过程所以有很多篇写出来可能会有点问题,如果看了我的文章的人觉得有问题甚至觉得小编写...原创 2019-10-17 14:08:44 · 1453 阅读 · 0 评论