![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
每天都要加加油王得坤
于微小出见精神
展开
-
云服务器docker安装hadoop单机并使用外网访问hadoop
本教程仅供本地测试所以省事安装在docker里面 一:安装docker内容省略 二:docker安装hadoop(需要进行端口映射)==> docker run -i -t -p 50070:50070 -p 9000:9000 -p 8088:8088 -p 8040:8040 -p 8042:8042 -p 49707:49707 -p 50010:50010 -p 50075:50075 -p 50090:50090 --name hp sequenceiq/hadoop-docker:原创 2021-03-27 16:49:41 · 2944 阅读 · 0 评论 -
mysql分组内排序
表结构 按各科成绩进行排序,并显示排名(实现不完全) 要求结果如下 sql写法 select a.* from (SELECT c_id,s_score,@i:=@i +1 as i保留排名 FROM (select @i:=0)s,Score WHERE c_id='01'ORDER BY s_score desc) a UNION all select b.* from (SELECT c_id,s_score,@t:=@t +1 as i保留排名 FROM ...原创 2020-05-18 23:54:28 · 330 阅读 · 0 评论 -
hive分区分桶
分桶指的是分桶表的某一列,让该列按照hash取模的方式随机均匀的分布在各个桶中,因为分桶需要根据某一列具体数据来进行hash取模,因此指定的分桶列必须位于表中的一列,分桶改变了数据的存储方式,他会把hash模相同或者在某一区间的数据放一个桶中,来提高查询效率,比如我们要对2张在同一列的表进行分桶操作的表进行join时候,只需要对保存相同列值的桶进行join操作即可,分桶可以使取样更高效 hive分区指单值分区、范围分区,单值分为静态和动态分区2种, 单值分区 单值分区根据插入时是否需要手动..原创 2020-05-10 14:08:35 · 543 阅读 · 0 评论 -
Hadoop面试题
1 ======>hadoop 运行原理 hadoop基本由hdfs(文件系统),yarn(任务调度)以及mapreduce(编程模型,大数据并行运算)组成 hadoop集群其实就是hdfs集群 hdfs:文件系统,它不仅是用来做文件存储,还涉及分布式计算等方面,hdfs包含namenode和datanode,namenode是整个文件系统的目录,它存储的是一些文件的详细信息,如大小等...原创 2020-05-07 22:50:27 · 368 阅读 · 0 评论 -
flume启动报错解决方法
不行再修改一个jar包我这里把它改成和Hadoop相同版本的了原创 2020-01-05 23:06:57 · 669 阅读 · 0 评论 -
java访问Hadoop报错集锦
关于java.io.IOException: HADOOP_HOME or hadoop.home.dir areunset.的问题 记住需要在bin文件夹加一个文件原创 2019-12-03 21:28:15 · 441 阅读 · 0 评论 -
基于docker搭建Hadoop集群
准备环节 云服务器一个 1下载好docker 2docker下载centos镜像(我下载的centos8) docker pull centos 3启动容器同时进入启动的容器进行相关操作 docker run -it --name centos-1 centos /bin/bash 4配置时区(别人配了咱也配一下吧) ln -sf /usr/share/zoneinfo/...转载 2019-12-02 16:41:54 · 402 阅读 · 0 评论