![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 64
IT小强哥
这个作者很懒,什么都没留下…
展开
-
2022年-数仓-【时间维度表】-年、周、节假日
2022年-数仓-【时间维度表】-年、周、节假日新年了,送你一份新年礼物,做数仓的都需要,哈哈!!!原创 2022-01-13 09:54:01 · 2300 阅读 · 4 评论 -
sqoop从mysql导数据到hdfs使用lzop压缩格式,报:NullPointerException
具体报错如下:Error: java.lang.NullPointerException at com.hadoop.mapreduce.LzoSplitRecordReader.initialize(LzoSplitRecordReader.java:63) at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.initialize(MapTask.java:560) at org.ap原创 2021-12-21 15:25:25 · 1618 阅读 · 0 评论 -
报错:Aggregation is not enabled
报错:Aggregation is not enabled错误描述:Aggregation is not enabled. Try the nodemanager at hadoop102:46139Or see application log at http://hadoop102:8042/node/application/application_1622931290897_0065解决方法:经过分析是历史服务器没有开启日志聚集功能,所以查看不到;配置历史服务器配置步骤:map原创 2021-06-10 13:14:58 · 1119 阅读 · 1 评论 -
实现Hadoop在Map与Reduce阶段压缩(手写压缩与解压缩代码)
Hadoop在Map与Reduce阶段都是通过配置文件进行实现的,具体见下文。手写压缩文件与解压缩问题有代码演示,请客官笑纳。1. Map输出进行压缩// 设置在map输出阶段压缩 conf.set("mapreduce.map.outputt.compress", "true");// 设置解压缩编码器 conf.set("mapreduce.map.output.compress.codec", "org.apache.hadoop.io.compress..原创 2021-06-09 20:45:23 · 247 阅读 · 2 评论 -
02)Hive安装与配置
本文,包括:1.MySQL安装与配置2.Hive的安装与配置原创 2021-06-06 09:39:49 · 675 阅读 · 0 评论 -
Hadoop HA高可用配置(2021年最新)
一、HDFS-HA 高可用集群配置准备工作1.准备环境安装3台CentOS7虚拟机,hostname分别为:hadoop102, hadoop103,hadoop104在hadoop102上进行如下安装与配置,最后进行分发到其他机器:1)jdk版本:jdk1.8.0_2122)hadoop版本:hadoop-3.1.33)软件安装目录:/opt/module简写说明:NN 代表 NameNodeZKFC 代表 ZooKeeperFailoverController2.安装jdk原创 2021-06-04 21:32:53 · 1529 阅读 · 1 评论 -
对两个文件里的单词出现次数进行统计(查询结果:a-p一个文件,q-z一个文件)【本地模式】
需求对两个文件里的单词出现次数进行统计(查询结果:a-p一个文件,q-z一个文件)输入文件1(word01.txt)HadoopSpark HiveHbaseHadoopSpark输入文件2(word02.txt)Java phpAndroidHtml5Bigdatapython计算结果:part-r-00000Android 1Bigdata 1Hadoop 2Hbase 1Hive 1Html5 1php 1python 1part-r-0原创 2021-05-30 14:51:55 · 311 阅读 · 0 评论 -
MapReduce概述
1.MapReduce定义MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并行运行在一个Hadoop集群上。2.MapReduce优缺点优点1)MapReduce 易于编程它简单的实现一些接口,就可以完成一个分布式程序,这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你写一个分布式程序,跟写一个简单的串行程序是一模一样的。原创 2021-06-01 20:12:44 · 338 阅读 · 4 评论