排序:
默认
按更新时间
按访问量

在pyspark中调用scala代码

在pyspark中调用scala代码情境说明问题我们这边是要使用Spark去并行一个自然语言处理的算法,其中使用到了LDA主题模型。由于使用的是天河二号,Spark版本是1.5.1,pyspark同样,所以获取主题时还不能使用describeTopics(在spark1.6中才开放对python的...

2018-07-11 11:47:43

阅读数:108

评论数:0

java/scala下的最好用的数据绘图工具breeze-viz

背景介绍一些多轮迭代的程序,像机器学习程序等等,它会在运行时会打出很多状态信息,我们通过分析打印出来的log,判断程序的性能指标。然而,由于log数据太多,信息太大,靠眼睛看往往很难掌握系统的状态变化情况,如每轮迭代的输出是如何随迭代次数变化的,各轮迭代的时间变化等等。 要是能把这些状态信息打印出...

2018-05-23 15:13:25

阅读数:120

评论数:0

Scala基础数据格式化输出总结

数据类型 String String 本不算什么基础类型,Scala String 类型有些特点简单介绍几点 字符串插值(String Interpolation) 字符串插值一句话解释:能在字符串定义中直接嵌入变量的引用,举个例子: va...

2017-08-28 10:48:25

阅读数:889

评论数:0

scala基础---->序列trait:Seq、IndexedSeq及LinearSeq

Seq trait用于表示序列。所谓序列,指的是一类具有一定长度的可迭代访问的对象,其中每个元素均带有一个从0开始计数的固定索引位置。 序列的操作有以下几种,如下表所示: 索引和长度的操作 apply、isDefinedAt、length、indices,及lengthCompar...

2017-06-22 14:01:47

阅读数:306

评论数:0

IntelliJ IDEA开发Spark、打JAR包

一、基于Non-SBT方式 创建一个Scala IDEA工程 我们使用Non-SBT的方式,点击“Next” 命名工程,其他按照默认 点击“Finish”完成工程的创建 修改项目的属性 首先修改Modules选...

2017-05-23 17:47:22

阅读数:1033

评论数:0

Scala for循环

for循环是一个循环控制结构,可以有效地编写需要执行的特定次数的循环。Scalar的循环说明如下的各种形式: for循环使用范围 Scala中for循环最简单的语法是: for( var x Range ){ statement(s); } 在这里,范围可能是一个数字范围,并且表示...

2017-04-28 15:43:13

阅读数:318

评论数:0

Scala case语句与偏函数

Scala通过case语句提供了形式简单、功能强大的模式匹配功能。但是也许你不知道,Scala还具有一个与case语句相关的语言特性,那就是:在Scala中,被“{}”包含的一系列case语句可以被看成是一个函数字面量,它可以被用在任何普通的函数字面量适用的地方,例如被当做参数传递。  ...

2017-04-28 10:02:32

阅读数:2869

评论数:0

Scala 强大的集合数据操作示例

Scala是数据挖掘算法领域最有力的编程语言之一,语言本身是面向函数,这也符合了数据挖掘算法的常用场景:在原始数据集上应用一系列的变换,语言本身也对集合操作提供了众多强大的函数,本文将以List类型为例子,介绍常见的集合变换操作。 一、常用操作符(操作符其实也是函数) ++ ++[B]...

2017-04-28 09:41:32

阅读数:169

评论数:0

执行Scala命令行工具

1.2.2  执行Scala命令行工具 如果你单独安装了Scala 命令行工具,会发现与Java 编译器javac 相似,Scala 编译器叫作scalac。我们会使用SBT 执行编译工作,而不会直接使用scalac。不过如果你曾运行过javac 命令,会发现scalac 语法也很直接。 在命...

2017-03-30 10:21:59

阅读数:3621

评论数:0

Scala 基础入门教程

1.前言 最近在参加Hadoop和Spark培训,需要使用Scala,自学了一下作为入门,这里作一个记录。 2.下载 1) 在scala官网下载,地址: http://www.scala-lang.org/ 2) 下载IDE,地址: http://scala-ide.org/ 3)配置环...

2017-03-13 13:42:27

阅读数:415

评论数:0

Scala之数据结构-数组

Scala中提供了一种数据结构-数组,其中存储相同类型的元素的固定大小的连续集合。数组用于存储数据的集合,但它往往是更加有用认为数组作为相同类型的变量的集合。 取替声明单个变量,如number0, number1, ..., 和number99,声明一个数组变量,如号码和使用numbers[...

2015-12-29 10:30:50

阅读数:526

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭