hadoop
hadoop
与宇宙对视
freedom.
展开
-
MapReduce实验——统计拨打公共服务号码的电话信息
统计拨打公共服务号码的电话信息Map类package PhoneCollect;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class MyMap extends Mapper<LongWritable,Text,Text,Te原创 2021-12-30 16:55:46 · 505 阅读 · 0 评论 -
MapReduce实验——topN排名
topN排名Map类package topN_01;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;import java.util.Arrays;public cla原创 2021-12-24 18:11:10 · 779 阅读 · 0 评论 -
MapReduce实验——学生总成绩报表,学生平均成绩
学生总成绩报表Map类package StudentScore_06;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;import java.util.StringToke原创 2021-12-24 15:40:24 · 3133 阅读 · 0 评论 -
MapReduce实验——分析年气象数据最高温度,最低温度
分析年气象数据最高温度Map类package MaxTemperature_05;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class MyMap ex原创 2021-12-24 11:49:20 · 1793 阅读 · 4 评论 -
MapReduce实验——分析年气象数据平均温度
分析年气象数据平均温度Map类package AvgTemperature_04;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class MyMap ex原创 2021-12-24 11:36:09 · 1538 阅读 · 2 评论 -
《大数据技术原理与应用(第3版)》期末复习——第八章Hadoop再探讨
知识点(我们先来复习一下吧~)Hadoop 的局限与不足:1)抽象层次低2)表达能力有限3)开发者自己管理作业之间的依赖关系4)难以看到程序整体逻辑5)执行迭代操作效率低6)资源浪费7)实时性差Hadoop的改进组件Hadoop 1.0问题Hadoop2.0的改进HDFS单一名称节点,存在单点失效问题HDFS HA , 提供名称节点热备份机制HDFS单一命名空间,无法实现资源隔离HDFS 联邦 , 管理多个命名空间MapReduce资源管理原创 2021-12-24 10:34:26 · 1317 阅读 · 0 评论 -
MapReduce实验——计算整数的最大值最小值
英语单词频次统计Map类package MaxMin_03;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class MyMap extends Mapper<LongWritable,Text, Text,Long原创 2021-12-23 21:33:22 · 1507 阅读 · 4 评论 -
MapReduce实验——英语单词个数统计实验
英语单词频次统计Map类package WordSum_02;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class MyMap extends Map原创 2021-12-23 17:59:07 · 659 阅读 · 1 评论 -
MapReduce实验——英语单词频次统计实验
英语单词频次统计Map类package WordCount_01;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;public class MyMap extends Mapper<LongWritable, Text,Text,LongWritabl原创 2021-12-23 17:36:04 · 791 阅读 · 0 评论 -
《大数据技术原理与应用(第3版)》期末复习——第七章MapReduce
MapReduce 知识点掌握:MapReduce的设计理念是“计算向数据靠拢”。因为移动数据需要大量的网络传输开销。尤其是在大规模数据环境下,这种开销尤为惊人,所以,移动计算要比移动数据更加经济。本着这个理念,在一个集群中,只要有可能, MapReduce框架就会将Map程序就近地在HDFS数据所在的节点运行,即将计算节点和存储节点放在一起运行, 从而减少及节点之间的数据移动开销。Hadoop框架是用java实现的,但是MapReduce应用程序不一定要用java来写。MapReduce 的核心原创 2021-12-23 14:17:01 · 2768 阅读 · 0 评论 -
HDFS Java API操作——《大数据技术原理与应用(第3版)》期末复习
目录HDFS Java API操作创建目录显示目录列表删除目录判断文件存在目录和文件判断重命名文件上传文件文件移动文件下载HDFS Java API操作这里使用Junit包的@Before、@Test方法进行调试测试创建目录fs.mkdirs() //第一步,获取Hadoop FileSystem对象 private FileSystem fs = null; //初始化环境变量 @Before public void init() throws URISyntaxExcept原创 2021-12-23 10:25:17 · 1186 阅读 · 1 评论 -
《大数据技术原理与应用(第3版)》期末复习——HDFS常用命令
HDFS常用命令1、显示指定文件的详细信息hdfs dfs -ls <path>2、ls 命令的递归版本hdfs dfs -ls -R <path>3、查看文件内容hdfs dfs -cat <path>4、更改文件的所属组(-R为递归改变文件夹内的文件所有者)hdfs dfs -chgrp [-R] group <path>5、更改文件的所有者hdfs dfs -chown [-R] [owner][:[group]] <p原创 2021-12-22 10:35:34 · 974 阅读 · 0 评论 -
《大数据技术原理与应用(第3版)》期末复习——第三章分布式文件系统HDFS习题
分布式文件系统分布式文件系统的结构1、名称节点(“主节点”): 负责文件和目录的创建、删除和重命名等,同时管理着数据节点和文件块之间的映射关系。2、数据节点(“从节点”): 负责数据的存储和读取。在存储时,由名称节点分配存储位置,然后由客户端把数据直接写入相应的数据节点;在读取时,客户端从名称节点获得数据节点和文件块之间的映射关系,然后就可以到相应位置访问文件块。数据节点也要根据名称节点的命令创建、删除和复制数据块。HDFS相关概念1、名称节点的两个核心数据结构是FsImage和EditLog.原创 2021-12-22 10:04:29 · 4971 阅读 · 3 评论 -
《大数据技术原理与应用(第3版)》期末复习——前两章练习题
第一章1【单选题】人类社会的数据产生方式大致经历了三个阶段,不包括:A、运营式系统阶段B、用户原创内容阶段C、互联网应用阶段D、感知式系统阶段答案:C2【单选题】以下哪个现象不属于大数据的典型特征:A、数据包含噪声及缺失值B、数据量大C、数据类型多D、产生速率高答案:A3【单选题】以下哪项不属于大数据思维的涵盖内容:A、从模型驱动到数据驱动B、通过采样的手段获取目标群体的统计特性C、数据就是生产资料D、全样本分析答案:B4【单选题】在思维方式方面,不是大数据显著原创 2021-12-21 22:10:19 · 8744 阅读 · 3 评论