![](https://img-blog.csdnimg.cn/20200330202222637.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据入门
JDK+JAVA+Hadoop+Eclipse+Scala+Spark
(づど)
慢慢地
展开
-
【已解决】run as 没有Scala Application
背景:Eclipse配置了scala-IDE,但是运行右键并没有Scala Application。最后发现是博主自己小白了原创 2020-06-29 20:38:24 · 1056 阅读 · 0 评论 -
(五)win10 Eclipse配置Scala、Spark(详细步骤)
相关内容参考专栏:大数据入门【软件安装】(一)win10安装hadoop 2.8.5(详细步骤)(二)win10 Eclipse上配置Hadoop(详细步骤)(三)Hadoop简单应用 单词统计1 下载scala IDE官网下载2 解压安装得到的是一个压缩包,解压后,点击eclipse.exe即可安装3 示例3.1新建项目3.2 新建代码...原创 2020-06-29 17:49:36 · 664 阅读 · 0 评论 -
【已解决】Spark textFile报错InvalidInputException(小白踩坑记录)
目录1 问题 InvalidInputException2 背景3 解决3.1 hdfs导入 报错原因+解决3.2 本地导入 报错原因+解决3.2.1 【已解决】根目录file://到底在哪里3.2.2 hadoop看根目录3.2.3【已解决】本地目录里面不要空格1 问题 InvalidInputExceptionorg.apache.hadoop.mapred.InvalidInputException: Input path does not exi.原创 2020-06-27 01:27:20 · 3816 阅读 · 1 评论 -
(四)win10安装Scala和Spark
相关内容参考专栏:大数据入门【软件安装】(一)win10安装hadoop 2.8.5(详细步骤)(二)win10 Eclipse上配置Hadoop(详细步骤)(三)Hadoop简单应用 单词统计目录1 scala1.1 下载 1.2 .msi安装(无需配置) 1.3 .zip安装+配置 1.4 测试2 spark2.1 下载解压 2.2 配置测试1 scala1.1 下载官方下载网址或gi...原创 2020-06-26 17:02:15 · 1881 阅读 · 0 评论 -
【已解决】Hadoop报错:Name node is in safe mode.
问题C:\Users\Ashley>hadoop fs -checksum /user/root/temp/5.cppchecksum: Zero blocklocations for /user/root/temp/5.cpp. Name node is in safe mode.原因因为某些不当的操作,进入了安全模式,退出即可。解决C:\Users\Ashley...原创 2020-04-27 21:13:56 · 1946 阅读 · 0 评论 -
(三)Hadoop简单应用 单词统计
用Eclipse写的代码,配置可以参考win10 Eclipse上配置Hadoop0 上传被统计的文件可参考 博文1 编码(相关代码在文末)①新建项目:File->new->other->Map/Reduce Project(不要选成java project啦)②在src目录下新建一个package,Package下创建java类 WordCount.j...原创 2020-03-30 21:56:20 · 728 阅读 · 0 评论 -
(二)win10 Eclipse上配置Hadoop(详细步骤)
1 前期配置①JDK v1.8 ②hadoop v2.8.5 可参考:【软件安装】win10安装hadoop 2.8.5(详细步骤)③eclipse 官网下载安装很方便④hadoop-eclipse-plugin-2.8.5.jar github下载2 环境配置①把hadoop-eclipse-plugin-2.8.5.jar文件放到eclipse\plug...原创 2020-03-30 20:20:44 · 1256 阅读 · 4 评论 -
(一)win10安装hadoop 2.8.5(详细步骤)
1 JDK1.1 下载按照自己的版本去官网下载(需要注册登录) github下载1.2 安装安装按提示,唯一要注意的是:JDK的安装路径不要带空格!否则会报错“C:\Program不是内部或外部命令”。所以不能装到 Program Files 目录下。举栗子:E:\Hadoop\Java\jdk1.8.0_231嗯……顺手把jre的安装目录也...原创 2020-03-23 16:41:22 · 3389 阅读 · 2 评论