大数据 - 第八课 :运行wordcount程序 & scala下载解压与配置

  1. wordcount程序的运行
    1.1 上传文本文件(英文)到hdfs文件系统
    上传文件后,可以在eclipse环境中看到路径。
    在这里插入图片描述

这些路径作为main的运行参数,需要填入configuration里。
1.2设置configuration
首先,eclipse的激活页面要是程序界面:
在这里插入图片描述
在主菜单选择“Run”,然后“Run Configurations”。

在这里插入图片描述
在这里插入图片描述
双击“Java Application”,检查自动填入的内容是否正确。
在这里插入图片描述
打开“Arguments”标签页,填入路径。

在这里插入图片描述
填好后点击“Apply”,然后 “Close”。
在程序界面上右击:
在这里插入图片描述
选择“Run As”,“Run on Hadoop”。
运行之后,可以在右侧看到hdfs文件的变化:
在这里插入图片描述

  1. spark相关信息
    下载解压spark2.4.5。
    在路径:/home/user1/spark-2.4.5/bin下,运行./spark-shell。
    在这里插入图片描述
  2. scala下载解压与配置
    3.1下载scala2.11.12,解压:tar -zxvf scala-2.11.12.tgz。
    进入目录:/home/user1/scala-2.11.12/bin,运行./scala:
    在这里插入图片描述
    说明scala运行正常。
    3.2配置路径
    在.bash_profile里添加如下内容:
    export SCALA_HOME=/home/user1/scala-2.11.12
    export PATH= S C A L A H O M E / b i n / : SCALA_HOME/bin/: SCALAHOME/bin/:PATH
    然后运行.bash_profile:source .bash_profile。
    3.3 scala环境退出
    “:q”。
  3. scala语言简介
    4.1值和变量
    值:val;
    变量:var。
    值:声明后不能修改;变量可以。
    在这里插入图片描述
    在计算过程,低级数值类型会自动向高级数值类型转换,但不会自动从高级数据类型向低级数据类型转换。
    类型转换可以强制执行,使用toType方法。
    在这里插入图片描述
    字面量中的字母不区分大小写。
    4.2 字符串String
    用双引号。
    String类型比数值类型级别高,所以计算过程中数值类型会转换为String类型,进行String类型的计算(拼接)。
    4.3 scala类型概述
    在这里插入图片描述
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值