hadoop
文章平均质量分 87
Sonder_s
这个作者很懒,什么都没留下…
展开
-
MapReduce处理图片
思路: 把图片放到hdfs上,然后把每张待处理的图片路径放写在一个txt文本中。运行MR程序的时候,把这个txt文件作为输入传入,通过文件中的图片路径去找要处理的图片,达到处理图片的目的。 一、图片路径txt文件,注意:文件最后鼠标光标一定要紧跟在最后一个字符后面,不能换行之类的!!!不然会报错!!!hdfs://你的namenode所在的主机ip:8020/sst/mr/image/srcimgcolor/1.jpghdfs://你的namenode所在的主机ip:8020/sst/mr/原创 2021-05-02 09:30:18 · 865 阅读 · 1 评论 -
The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received
使用sqoop命令列出MySQL的数据库时,报错: The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: com.mysql.jdbc.exceptions.jdbc4.CommunicationsExcept原创 2020-12-06 22:36:34 · 714 阅读 · 0 评论 -
Failed to retrieve data from webhdfsv1op=LISTSTATUS: java.lang.reflect.InvocationTargetException
用web界面浏览hdfs文件系统失败(8020端口),其它的可以看,但是当Browse the file system 的时候,不能看到文件的目录,有报错:Failed to retrieve data from webhdfsv1op=LISTSTATUS: java.lang.reflect.InvocationTargetException 在网上搜了没有解决,接下来说说我的办法。这个方法适用于hadoop测试的时候。解决办法: 用命令hdfs namenode -format格式化HDFS原创 2020-10-31 14:05:40 · 897 阅读 · 0 评论 -
target/TestDemo-1.0-SNAPSHOT.jar中没有主清单属性(已解决)
非常感谢下面两个博客的博主,第一次接触相关知识,有不对的地方希望大家指正。虽然问题解决了,但是这么做的原因还没弄清楚,还得继续学习。 参考博客1 参考博客2版本:IDE 2020maven 3.5.4出现的问题: 在IDE上新建了maven项目,把主函数打包为jar包在terminal中用命令运行,然后报错提示:target/TestDemo-1.0-SNAPSHOT.jar中没有主清单属性 在网上查了方法都是说在pom.xml中指定入口,但是我在pom.xml文件里设置好了,我出问原创 2020-10-17 18:40:28 · 5523 阅读 · 3 评论