大数据复习
复习大数据相关知识点
YongYu_IT
区块链,分布式系统
展开
-
Hbase常见操作
进入hbasehbase shell可以查看命令如何使用help 'put'1、建表hbase(main):002:0> create 't1',{NAME=>'cf1'}Created table t1Took 1.0852 seconds hbase(main):022:0> create 'tb_t3','cf1','cf2','cf3'Created table tb_t3Took 1.2607 seconds hbase(main):02原创 2021-03-21 16:08:49 · 292 阅读 · 0 评论 -
HBASE搭建
wget http://mirror.bit.edu.cn/apache/hbase/2.2.6/hbase-2.2.6-bin.tar.gz$ tar -zxvf hbase-2.2.6-bin.tar.gz$ cd hbase-2.2.6/conf$ gedit hbase-site.xml##<property># <name>hbase.cluster.distributed</name># <value>true</val..原创 2021-03-21 15:14:02 · 143 阅读 · 0 评论 -
Mapduce过程中是否开启combiner需要注意的问题
统计语文数学英语各学科的平均数,如果只考虑map和reduce的过程,就不要开启combiner,如果开启combiner ,就要考虑combiner的过程,即使combiner算法与reduce几乎一样,但是要注意数据从map端到reduce的结果,和数据从combiner端到reduce的结果会有一点不一样如果开启combiner,但是combiner 过程与reduce过程一样,会有问题例如:map端输出的数据Math Bob 100Math Alice 90English A原创 2021-03-20 17:00:18 · 260 阅读 · 0 评论 -
MapReduce
1、mapreduce 计算各科成绩已经总分最高分的学生姓名和分数2、开启Combiner,在map端局部汇总(合并小文件)job.setCombinerClass(CollectStuMRTest.benreduce.class);import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import...原创 2021-03-20 12:53:05 · 97 阅读 · 0 评论 -
搭建全分布式HADOOP集群
1、安装jdk(1)解压缩jdk包tar xzvf jdk-8u211-linux-x64.tar.gz(2)配置JAVA环境变量并验证jdk是否安装成功 vi ~/.bashrc (~ 表示当前用户目录 如 /home/yong)export JAVA_HOME=/home/yong/jdk-8u211-linux-x64/jdk1.8.0_211export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/l...原创 2021-01-17 14:43:00 · 144 阅读 · 0 评论