![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
余三二
这个作者很懒,什么都没留下…
展开
-
在hadoop上跑mapreduce程序时出现NoSuchMethodException错误
原因:Map类和Reduce类前面没用static修饰 hadoop调用map和reduce用的是反射机制,如果内部类不是静态的,则无法获得内部类的实例。 扩展: java里面static一般用来修饰成员变量或函数。但有一种特殊用法是用static修饰内部类,普通类是不允许声明为静态的,只有内部类才可以。被static修饰的内部类可以直接作为一个普通类来使用,而不需实例一个外部类。 解决办法:在...原创 2018-11-05 14:37:39 · 280 阅读 · 0 评论 -
在Xshell 5中运行hadoop程序常用指令
前提条件:单词计数程序编写完成,并打包成了jar包 步骤: 1、将打包好的jar包拖拽到服务器某个文件夹(要处理的文件也同样放到服务器中,图略),如下 2、将要处理的数据文件上传到HDFS 指令:hadoop fs -put 本地文件所在目录 HDFS中的目录 注意事项:如果对绝对路径相对路径不是很熟悉的,就回到用户主目录指令 cd ~进行操作 3、运行程序 指令:hadoop jar xxx...原创 2018-11-05 16:51:55 · 2600 阅读 · 0 评论 -
hadoop集群上部署flink环境
搭建背景: 目前已经在某个服务器上搭建好了hadoop集群,部署flink环境只需要通过xshell进行操作 步骤: 1、打开xshell,连接hadoop集群所在服务器 2、查看hadoop版本,如图,可知版本是2.6.0 $ hadoop version 3、去官网下载相应的flink压缩包 下载地址:https://flink.apache.org/downloads.html 找到对应...原创 2019-04-09 11:56:17 · 6233 阅读 · 0 评论 -
Type mismatch in value from map
查看Job中设置的输入输出的class数据类型和实际Mapper和Reducer中的输入输出数据类型是否一致。原创 2019-04-30 16:54:15 · 243 阅读 · 0 评论