ubantu
20boy发愤图强想当功城狮
这个作者很懒,什么都没留下…
展开
-
Ubantu18.04 部署Hive
Ubantu18.04 部署Hive一.什么是HiveHive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低,可以通过类似SQL语句实现快速MapR...原创 2019-12-11 19:16:19 · 210 阅读 · 0 评论 -
Hadoop 实验:分布式缓存
Hadoop 实验:分布式缓存一.概述假定现在有100G的大表和1M的小表,如果是储存在一个盘里,处理和运行就会很慢,假定把100G分别分到10个map,这样1个map就是总量的1/10,加快了处理。用小表中单词在大表中出现次数,也即所谓的“扫描大表,加载小表”。也即分布时缓存。如图:由于这次实验没有100G这么大的表也没有1m的小表只能自己设置一个小表和大表。整个实验步骤为:1....原创 2019-11-27 17:21:59 · 304 阅读 · 0 评论 -
Hadoop 实验:Join 操作
Hadoop 实验:Join 操作一. 实验背景:1.概述我们这次学习是在hadoop中使用MapRedce进行Join的操作时同时耗时,但是由于hadoop的分布式设计理念的特殊性,因此对于join的操作也同样具备一定的特殊性。2. 原理使用 MapReduce 实现 Join 操作有多种实现方式:在 Reduce 端连接为最为常见的模式:Map 端的主要工作:为来自不同表(文...原创 2019-11-27 10:42:49 · 273 阅读 · 1 评论 -
Hadoop 实验:二次排序
一.实验原理MR默认会对键进行排序,然后有的时候我们也有对值进行排序的需要,如果有内存溢出的问题,就用二次排序来进行对值的排序MR计算过程中,而不是单独来做。二次排序就是首先按照第一次字段排序,然后对第一字段相同的行按照第二字段排序,注意不能破坏第一次排序结果。二.实验需要本实验所需外部 jar 文件都可以在实验集群的/home/hadoop/lib.zip 文件中找到,请自行下载。1....原创 2019-11-26 20:35:45 · 385 阅读 · 0 评论 -
Hadoop 实验:计数器
1.MapReduce 计数器是什么?是用于记录job的执行进度和状态的。可以认为是笔记本,记录这数据变化。2.MapReduce计数器能做什么?计数器给我们提供一个数据窗口,展示各种细节数据。对MapRed性能优化的评价都计数器表现出来。计数器是一种收集作业统计信息的有效手段。用于统计质量控制或应用级统计。还可以判断系统出现的问题错误。计数器好比一个日记本,你每天记录一点,有一天返回来看...原创 2019-11-26 16:40:36 · 393 阅读 · 4 评论 -
读写 HDFS 文件
在hadoop hdfs上传下载文件什么是hdfsHDFS(Hadoop Distributed File System)为大数据平台其它所有组件提供了基本的存 储功能。它具有高容错、高可靠、可扩展、高吞吐率等特征,为大数据存储和处理提供 了强大的底层存储架构。 HDFS 是一个主/从(master/slave)体系结构,从最终用户的角度来看,它就像传统 的文件系统,可通过目录路径对文件执行 ...原创 2019-11-23 16:29:45 · 227 阅读 · 0 评论 -
Ubantu18.04 安装hadoop(伪分布和单机)求pi
Ubantu18.04安装hadoop(伪分布和单机)首先是安装Ubantu18.04 (安装Ubantu,百度一个就知道了)配置root用户密码 sudo passwd然后用的root 登录1.首先是安装VM tools2.然后是更新源 (这个在我的ssh服务那章博客里有)3.关闭防火墙状态在Ubuntu中 我们使用sudo ufw status命令查看当前防火墙状态;in...原创 2019-11-21 19:22:51 · 342 阅读 · 0 评论 -
关于jps异常报错查询不了进程
关于jps异常报错查询不了进程的解决方法我的错误是开启hadoop服务后 jps异常错误没有命令我的解决方法是1.先查看你的java 是不是能查出版本号 java - version如果查出不出来就开去看下的你Java的PATH路径是不是正常的了。2.然后在重新执行一遍 source /etc/profile3.开启hadoop的服务 sbi...原创 2019-11-20 09:14:57 · 216 阅读 · 0 评论 -
Ubantu18.04安装SSH服务
Ubantu18.04安装SSH服务一.安装openssh-service这里有两个路径可以下载命令: sudo apt-get install opessh-server su root apt-get instal openssh-server注:因为安装这些服务等 需要你的超级管理员root 第二种是让你明白是什么.(详细说明了这个步骤)启动SSH...原创 2019-11-15 19:00:14 · 272 阅读 · 0 评论 -
Ubantu18.04下安装java8
安装JDK:首先坚持是否已经安装 java -version如果没安装,提示:官网地址: https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html (我下载的jdk1.8.0_231)这里选择的是:jdk-8u231-linux-x64.tar.gz这里我是从我的wi...原创 2019-11-12 16:01:23 · 130 阅读 · 0 评论