Scala编程很有意思
文章平均质量分 89
mishidemudong
菜鸟上路,一颗红心,两手准备。
展开
-
SBT无痛入门指南
SBT是 Scala 的构建工具,全称是 Simple Build Tool, 类似 Maven 或 Gradle。 SBT 的野心很大,采用Scala编程语言本身编写配置文件,这使得它稍显另类,虽然增强了灵活性,但是对于初学者来说同时也增加了上手难度。另外由于SBT默认从国外下载依赖,导致第一次构建非常缓慢,使用体验非常糟糕! 如果你是一名Scala初学者,本文希望帮你减轻一些第一次使用的痛苦...转载 2020-02-10 23:55:29 · 1097 阅读 · 0 评论 -
在pyspark中调用scala代码
在pyspark中调用scala代码情境说明问题我们这边是要使用Spark去并行一个自然语言处理的算法,其中使用到了LDA主题模型。由于使用的是天河二号,Spark版本是1.5.1,pyspark同样,所以获取主题时还不能使用describeTopics(在spark1.6中才开放对python的接口),只能使用topicsMatrix的方法。本来凑合用topicsMatrix也行,但我们发现,这...转载 2018-07-11 11:47:43 · 1172 阅读 · 0 评论 -
java/scala下的最好用的数据绘图工具breeze-viz
背景介绍一些多轮迭代的程序,像机器学习程序等等,它会在运行时会打出很多状态信息,我们通过分析打印出来的log,判断程序的性能指标。然而,由于log数据太多,信息太大,靠眼睛看往往很难掌握系统的状态变化情况,如每轮迭代的输出是如何随迭代次数变化的,各轮迭代的时间变化等等。 要是能把这些状态信息打印出来,用图形显示,这会大大的减少痛苦!!breeze-viz就是用来干这件事的。 您可能会问,为什么不适...转载 2018-05-23 15:13:25 · 2263 阅读 · 1 评论 -
Scala基础数据格式化输出总结
数据类型StringString 本不算什么基础类型,Scala String 类型有些特点简单介绍几点字符串插值(String Interpolation)字符串插值一句话解释:能在字符串定义中直接嵌入变量的引用,举个例子:val name = "wuzheng"println(s"hello $name ") // hell转载 2017-08-28 10:48:25 · 8889 阅读 · 0 评论 -
scala基础---->序列trait:Seq、IndexedSeq及LinearSeq
Seq trait用于表示序列。所谓序列,指的是一类具有一定长度的可迭代访问的对象,其中每个元素均带有一个从0开始计数的固定索引位置。序列的操作有以下几种,如下表所示:索引和长度的操作 apply、isDefinedAt、length、indices,及lengthCompare。序列的apply操作用于索引访问;因此,Seq[T]类型的序列也是一个以单个Int(索引下标)为参转载 2017-06-22 14:01:47 · 1186 阅读 · 0 评论 -
IntelliJ IDEA开发Spark、打JAR包
一、基于Non-SBT方式创建一个Scala IDEA工程我们使用Non-SBT的方式,点击“Next”命名工程,其他按照默认点击“Finish”完成工程的创建修改项目的属性首先修改Modules选项在src下创建两个文件夹,并把其属性改为source下面修改Libr转载 2017-05-23 17:47:22 · 2007 阅读 · 0 评论 -
Scala for循环
for循环是一个循环控制结构,可以有效地编写需要执行的特定次数的循环。Scalar的循环说明如下的各种形式:for循环使用范围Scala中for循环最简单的语法是:for( var x Range ){ statement(s);}在这里,范围可能是一个数字范围,并且表示为i到j或有时像i到j左箭头例子:下面是循环使用范围从i到j语法的例子:object Te转载 2017-04-28 15:43:13 · 1001 阅读 · 0 评论 -
Scala case语句与偏函数
Scala通过case语句提供了形式简单、功能强大的模式匹配功能。但是也许你不知道,Scala还具有一个与case语句相关的语言特性,那就是:在Scala中,被“{}”包含的一系列case语句可以被看成是一个函数字面量,它可以被用在任何普通的函数字面量适用的地方,例如被当做参数传递。 Scala代码 scala> val defaultValue:Option[Int转载 2017-04-28 10:02:32 · 6655 阅读 · 0 评论 -
Scala 强大的集合数据操作示例
Scala是数据挖掘算法领域最有力的编程语言之一,语言本身是面向函数,这也符合了数据挖掘算法的常用场景:在原始数据集上应用一系列的变换,语言本身也对集合操作提供了众多强大的函数,本文将以List类型为例子,介绍常见的集合变换操作。一、常用操作符(操作符其实也是函数)++ ++[B](that: GenTraversableOnce[B]): List[B] 从列表的尾部添加另外一个转载 2017-04-28 09:41:32 · 355 阅读 · 0 评论 -
执行Scala命令行工具
1.2.2 执行Scala命令行工具如果你单独安装了Scala 命令行工具,会发现与Java 编译器javac 相似,Scala 编译器叫作scalac。我们会使用SBT 执行编译工作,而不会直接使用scalac。不过如果你曾运行过javac 命令,会发现scalac 语法也很直接。在命令行窗口中运行-version 命令,便可查看到当前运行的scalac 版本以及命令行参数帮助信息。与转载 2017-03-30 10:21:59 · 8617 阅读 · 0 评论 -
Scala 基础入门教程
1.前言最近在参加Hadoop和Spark培训,需要使用Scala,自学了一下作为入门,这里作一个记录。2.下载1) 在scala官网下载,地址: http://www.scala-lang.org/2) 下载IDE,地址: http://scala-ide.org/3)配置环境变量SCALA_HOME:C:\Program Files (x86)\scalaPat转载 2017-03-13 13:42:27 · 652 阅读 · 0 评论 -
Scala之数据结构-数组
Scala中提供了一种数据结构-数组,其中存储相同类型的元素的固定大小的连续集合。数组用于存储数据的集合,但它往往是更加有用认为数组作为相同类型的变量的集合。取替声明单个变量,如number0, number1, ..., 和number99,声明一个数组变量,如号码和使用numbers[0],numbers[1],...,numbers[99]表示单个变量。本教程介绍了如何声明数组变量,转载 2015-12-29 10:30:50 · 751 阅读 · 0 评论