![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
educoder-大数据
刘向阳啊
格子衫,双肩包,牛仔裤
展开
-
educoder--MapReduce基础实战各关卡通关答案
第1关:成绩统计:本关任务相关知识map处理阶段reduce处理阶段编程要求测试说明本关任务词频统计是最能体现MapReduce思想的程序,结构简单,上手容易。词频统计的大致功能是:统计单个或者多个文本文件中每个单词出现的次数,并将每个单词及其出现频率按照<k,v>键值对的形式输出,其基本执行流程如下图所示:由图可知:输入文本(可以不只一个),按行提取文本文档的单词,形成行<k1,v1>键值对,具体形式很多,例如<行数,字符偏移>等;通过Split原创 2021-06-10 20:14:55 · 26840 阅读 · 7 评论 -
educoder-HBase 开发:使用Java操作HBase各关卡通关答案
第1关:创建表package step1;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.HTableDescriptor;import org原创 2021-06-10 20:00:16 · 7865 阅读 · 0 评论 -
educoder-HDFS和MapReduce综合实训
第1关:WordCount 词频统计import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.ha原创 2021-06-10 19:44:08 · 5887 阅读 · 7 评论 -
educoder-Hadoop开发环境搭建各关卡通关答案
第1关:配置开发环境 - JavaJDK的配置mkdir /appcd /opttar -zxvf jdk-8u171-linux-x64.tar.gzmv jdk1.8.0_171/ /appvim /etc/profile光标移动到文件末尾iJAVA_HOME=/app/jdk1.8.0_171CLASSPATH=.:$JAVA_HOME/lib/tools.jarPATH=$JAVA_HOME/bin:$PATHexport JAVA_HOME CLASSPATH P原创 2021-06-10 19:34:58 · 22549 阅读 · 20 评论 -
educoder--HBase 伪分布式环境搭建 第1关:伪分布式环境搭建答案
第1关:伪分布式环境搭建任务描述相关知识配置与启动伪分布式HBase在HDFS中验证编程要求测试说明任务描述本关任务:安装伪分布式HBase。相关知识上次实训中我们已经完成了单机版HBase的安装,单机版意味着我们的HBase数据仍然是存放在本地,而没有存放在Hadoop集群中,本关我们来学习如何配置一个伪分布式的HBase环境,伪分布式意味着HBase仍然在单个主机上运行,但每个HBase的守护程序(HMaster、HRegionServer和Zookeeper)作为单独的进程运行;在原创 2021-06-10 19:17:06 · 20250 阅读 · 5 评论 -
educoder - HBase的安装与简单操作 各关卡答案
第一关Hbase数据库的安装mkdir /app回车cd /opt回车ulimit -f 1000000回车tar -zxvf hbase- 2.1.1-bin.tar.gz -C /app回车echo $JAVA_ HOME回车;: (复制这个命令所显示出的路径,要用)结果是: /usr/ib/jvm/jdk1.8.0_ 111vim /app/hbase -2.1.1/conf/hbase-env.sh回车,翻到第二十八行,找到# export JAVA_ HOME=/usr/原创 2021-05-08 20:48:57 · 14216 阅读 · 10 评论 -
Educoder 分布式文件系统HDFS-通关答案
第1关:HDFS的基本操作开启hdfsstart-hdfs.sh在HDFS中创建/usr/output/文件夹;hdfs dfs -mkdir -p /usr/output在本地创建hello.txt文件并添加内容:HDFS的块比磁盘的块大,其目的是为了最小化寻址开销。(标点符号为中文标点,敲击成英文标点会报错)vim /usr/output/hello.txt 将hello.txt上传至HDFS的/usr/output/目录下;hdfs dfs -put hello.txt /usr/out转载 2021-03-28 18:00:37 · 10685 阅读 · 1 评论