![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 56
Maricle_1901
这个作者很懒,什么都没留下…
展开
-
自定义udf类实现hive函数功能
环境准备:hadoop、mysql、eclipse、maven1.UDF类别:UDF通常分为三类:一对一、多对一、多对多UDF(User-Defined-Function):通常是一对一的函数,一个参数一个结果UDAF(User-Defined Aggregation Funcation):是多对一的函数,类似于聚合函数(也叫分组函数,count、max等)UDTF(User-Defin...原创 2019-10-21 14:44:16 · 288 阅读 · 0 评论 -
报错:Unable to check if JNs are ready for formatting
完整报错信息:WARN namenode.NameNode: Encountered exception during format: org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unable to check if JNs are ready for formatting. 1 exceptions thrown:192....原创 2019-07-19 15:33:12 · 1781 阅读 · 0 评论 -
记一次hive 报错NoViableAltException(-1@[215:51: ( KW_AS )?])
NoViableAltException(-1@[215:51: ( KW_AS )?])报错日志:NoViableAltException(-1@[215:51: ( KW_AS )?]) at org.antlr.runtime.DFA.noViableAlt(DFA.java:158) at org.antlr.runtime.DFA.predict(DFA.java:144) at o...原创 2019-09-02 19:58:08 · 5555 阅读 · 0 评论 -
MapReduce详解
Hadoop作为一个成熟的框架,1.X中就已经出现mapreduce这个概念,而在2.x中,把MapReduce这个处理框架放在Yarn概念中。MapReduce虽然是hadoop中的组件,但在很多其他框架中都有使用或有相同的概念,因此在学习大数据的时候,需要深刻的了解一下MapReduce这一组件的作用MapReduce阶段剖析数据从Map端输入,在Map中,会将数据处理成key—value...原创 2019-09-23 10:16:09 · 192 阅读 · 0 评论