hadoop
LH-sw
这个作者很懒,什么都没留下…
展开
-
Hadoop实战(二)鸢尾花数据
KNN算法实现:1、数据说明本实验采用鸢尾花数据,训练数据:三类鸢尾花,每类有40条数据,共120条数据。1、idea2、Hadoop原创 2020-11-30 12:09:13 · 1266 阅读 · 1 评论 -
Hadoop 实操(二)使用IDEA编写第一个MapReduce程序
Hadoop 实操(二)使用IDEA编写第一个MapReduce程序一、IDEA部分:1、打开idea,新建项目 File->New->Project2、在弹出的界面选择JDK,我用的IDEA版本是2019.3.1的,自带JDK是11,我安装了1.8,所以这里我选择的是1.8。3、为项目起名4、因为我配置了maven,所以我这直接在pom文件里添加了hadoop的依赖。<repositories> <repository> <原创 2020-11-18 15:07:51 · 6141 阅读 · 1 评论 -
Hadoop自带wordcount实例
Hadoop自带wordcount实例Hadoop环境搭建成功后,运行一下wordcount实例1、终端切换到root:su-2、启动HDFS,如果是第一次用的话,先格式化namenode: hdfs namenode -format(格式化一次就行,总格式化会导致集群id不一致,会报错,不要问我咋知道的????)3、在HDFS创建目录:/data/wordcount存放本地上传的文件,/output目录存放MapReduce任务的结果输出文件。4、在本地建一个文件,输入点单词,然后查看一下,原创 2020-10-28 19:50:22 · 1376 阅读 · 0 评论