大数据
文章平均质量分 65
genglintong
这个作者很懒,什么都没留下…
展开
-
使用IDEA进行Spark开发(一)-IDEA的配置
所需环境: java jdk 1.7 如未配置java环境,则大家可以点击配置进行配置。 spark依赖项下载 Scala的安装与配置 下载Scala-2.10.5 配置环境变量 1,单击新建,在变量名一栏输入: SCALA-HOME 变量值一栏输入: D:\Program Files\scala 也就是scala的安装目录,根据个人情况有所不同,翻译 2016-11-29 21:42:53 · 1788 阅读 · 0 评论 -
使用IDEA进行Spark开发(二)-第一个scala程序
上面一篇文章博主已经给大家演示好了如何去配置一个本机的scala开发环境,现在我们就一起去写我们的第一个spark开发的scala程序吧!打开IDEA,选择创建一个新的工程文件。 点击scala,创建一个scala工程 输入我们程序名称——word_count,我们要写一个词频统计程序。 JDK选择1.7 scala选择我们下载安装好的scala环境目录,这里是2.10.5 点击完成,即可进原创 2016-12-01 21:57:15 · 14655 阅读 · 1 评论 -
安装Hadoop-2.7.3在ubuntu 14.04(伪分布模式)
前言ubuntu版本:14.04 java版本:1.8.0_121 Hadoop版本: 2.7.3 Hadoop三种安装方式: 独立模式 伪分布模式 全分布模式JAVA JDK去oracle官网下载java jdk 如果系统安装过java jdk 那么可以跳过这步。点此下载将安装包解压到你想要安装的目录 打开profile配置java环境sudo gedit /etc/profile在原创 2017-03-02 17:11:37 · 788 阅读 · 0 评论