![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scala
文章平均质量分 57
zzzzMing
这个作者很懒,什么都没留下…
展开
-
Scala函数式编程(六) 懒加载与Stream
前情提要Scala函数式编程指南(一) 函数式思想介绍scala函数式编程(二) scala基础语法介绍Scala函数式编程(三) scala集合和函数Scala函数式编程(四)函数式的数据结构 上Scala函数式编程(四)函数式的数据结构 下Scala函数式编程(五) 函数式的错误处理什么时候效率复习最高,毫无疑问是考试前的最后一夜,同样的道理还有寒暑假最后一天做作业最高效。学界有...原创 2020-04-15 19:34:10 · 399 阅读 · 0 评论 -
Scala函数式编程(五) 函数式的错误处理
前情提要Scala函数式编程指南(一) 函数式思想介绍scala函数式编程(二) scala基础语法介绍Scala函数式编程(三) scala集合和函数Scala函数式编程(四)函数式的数据结构 上Scala函数式编程(四)函数式的数据结构 下1.面向对象的错误处理在介绍scala的函数式的错误处理之前,我们要先来介绍一下其他情况下的错误处理方式。以java为例,常见的错误处理方式...原创 2020-02-20 21:03:15 · 1815 阅读 · 0 评论 -
Scala函数式编程(四)函数式的数据结构 下
前情提要Scala函数式编程指南(一) 函数式思想介绍scala函数式编程(二) scala基础语法介绍Scala函数式编程(三) scala集合和函数Scala函数式编程(四)函数式的数据结构 上1.List代码解析今天介绍的内容,主要是对上一篇介绍的scala函数式数据结构补充,主要讲代码。可以先看看上一节,主要讲的是函数式的list,Scala函数式编程(四)函数式的数据结构 上...原创 2019-12-19 18:04:58 · 180 阅读 · 0 评论 -
Scala函数式编程(四)函数式的数据结构 上
这次来说说函数式的数据结构是什么样子的,本章会先用一个list来举例子说明,最后给出一个Tree数据结构的练习,放在公众号里面,练习里面给出了基本的结构,但代码是空缺的需要补上,此外还有预留的testcase可以验证。关注公众号:哈尔的数据城堡,回复“函数式数据结构”可以获得。(写文章不容易,大哥大姐关注下吧[哭笑])然后是这系列的索引:Scala函数式编程指南(一) 函数式思想介绍sca...原创 2019-12-04 18:04:11 · 238 阅读 · 0 评论 -
Scala函数式编程(三) scala集合和函数
前情提要:scala函数式编程(二) scala基础语法介绍scala函数式编程(二) scala基础语法介绍前面已经稍微介绍了scala的常用语法以及面向对象的一些简要知识,这次是补充上一章的,主要会介绍集合和函数。注意噢,函数和方法是不一样的,方法是在类里面定义的,函数是可以单独存在的(严格来说,在scala内部,每个函数都是一个类)一.scala集合介绍还记得上一章介绍的obje...原创 2019-09-26 18:06:43 · 241 阅读 · 0 评论 -
scala函数式编程(二) scala基础语法介绍
上次我们介绍了函数式编程的好处,并使用scala写了一个小小的例子帮助大家理解,从这里开始我将真正开始介绍scala编程的一些内容。这里会先重点介绍scala的一些语法。当然,这里是假设你有一些java或者python的基础,毕竟大部分人不会将scala当作第一门学习编程的语言。不过这些语法知识记不住也没关系,本身语法这种东西就应该在使用中被记住。这里写这篇的目的也只是梳理一遍,方便大家对语法...原创 2019-09-18 18:03:54 · 172 阅读 · 0 评论 -
Scala函数式编程指南(一) 函数式思想介绍
为什么我们需要学习函数式编程?或者说函数式编程有什么优势?这个系列中我会用 scala 给你讲述函数式编程中的优势,以及一些函数式的哲学。不懂 scala 也没关系,scala 和 java 是类似的,在每篇的开头我也会先说明这节中用到的 scala 语法。为什么函数式编程这几年火起来如 Python 一样,函数式编程(FP,即Functional Programming)也是近几年才逐渐为人...原创 2019-07-30 09:42:50 · 198 阅读 · 0 评论 -
C,java,Python,这些名字背后的江湖!
还记得高中的时候,有一次我们计算机老师问我们班要不要去参加市里面的C语言比赛,当时还小的我对编程世界压根就一片空白。那时候我就想啊,为什么是C语言,那么A语言,B语言或者是D语言又是什么呢?后来就到了大学,学习了计算机知识后才知道C语言是什么东西。但是,你有没有过一瞬间感到奇怪,为什么它就叫做C语言,Java就叫java而不是叫J语言?今天我就带大家了解一下编程语言名字背后的故事吧~Java...原创 2019-03-18 20:37:24 · 318 阅读 · 0 评论 -
大数据存储的进化史 --从 RAID 到 Hdfs
我们都知道现在大数据存储用的基本都是 Hdfs ,但在 Hadoop 诞生之前,我们都是如何存储大量数据的呢?这次我们不聊技术架构什么的,而是从技术演化的角度来看看 Hadoop Hdfs。我们先来思考两个问题。在 Hdfs 出现以前,计算机是通过什么手段来存储“大数据” 的呢?为什么会有 Hadoop Hdfs 出现呢?在 Hdfs 出现以前,计算机是通过什么手段来存储“大数据”要...原创 2018-12-18 21:41:25 · 246 阅读 · 1 评论 -
Spark SQL,如何将 DataFrame 转为 json 格式
今天主要介绍一下如何将 Spark dataframe 的数据转成 json 数据。用到的是 scala 提供的 json 处理的 api。用过 Spark SQL 应该知道,Spark dataframe 本身有提供一个 api 可以供我们将数据转成一个 JsonArray,我们可以在 spark-shell 里头举个栗子来看一下。import org.apache.spark.sql.Sp...原创 2018-12-06 20:09:23 · 1441 阅读 · 2 评论 -
Mysql 流增量写入 Hdfs(一) --从 mysql 到 kafka
一. 概述在大数据的静态数据处理中,目前普遍采用的是用 Spark + Hdfs (Hive / Hbase) 的技术架构来对数据进行处理。但有时候有其他的需求,需要从其他不同数据源不间断得采集数据,然后存储到 Hdfs 中进行处理。而追加(append)这种操作在 Hdfs 里面明显是比较麻烦的一件事。所幸有了 Storm 这么个流数据处理这样的东西问世,可以帮我们解决这些问题。不过光有 ...原创 2018-12-08 21:11:44 · 730 阅读 · 0 评论 -
聊聊 scala 的模式匹配
一. scala 模式匹配(pattern matching)pattern matching 可以说是 scala 中十分强大的一个语言特性,当然这不是 scala 独有的,但这不妨碍它成为 scala 的语言的一大利器。scala 的 pattern matching 是类似这样的,e match { case Pattern1 => do Something case ...原创 2018-11-15 10:43:04 · 178 阅读 · 0 评论 -
Actor并发编程模型浅析
一.Actor模型介绍在单核 CPU 发展已经达到一个瓶颈的今天,要增加硬件的速度更多的是增加 CPU 核的数目。而针对这种情况,要使我们的程序运行效率提高,那么也应该从并发方面入手。传统的多线程方法又极其容易出现 Bug 而难以维护,不过别担心,今天将要介绍另一种并发的模式能一定程度解决这些问题,那就是 Actor 模型。Actor 模型其实就是定义一组规则,这些规则规定了一组系统中各个模块...原创 2018-11-16 20:43:39 · 244 阅读 · 0 评论 -
Scala 中的异步事件处理
在任何并发性应用程序中,异步事件处理都至关重要。无论事件的来源是什么(不同的计算任务、I/O 操作或与外部系统的交互),您的代码都必须跟踪事件,协调为响应它们而执行的操作。应用程序可以采用两种基本方法之一来实现异步事件处理:阻塞:一个等待事件的协调线程。非阻塞:事件向应用程序生成某种形式的通知,而没有线程显式等待它。合成事件scala.concurrent.Promise 和 scal...转载 2018-11-06 21:06:55 · 630 阅读 · 0 评论 -
Scala Try 与错误处理
一.概述当你在尝试一门新的语言时,可能不会过于关注程序出错的问题, 但当真的去创造可用的代码时,就不能再忽视代码中的可能产生的错误和异常了。 鉴于各种各样的原因,人们往往低估了语言对错误处理支持程度的重要性。事实会表明,Scala 能够很优雅的处理此类问题, 这一部分,我会介绍 Scala 基于 Try 的错误处理机制,以及这背后的原因。 我将使用一个在 Scala 2.10 新引入的特性,该...转载 2018-11-01 21:22:05 · 5831 阅读 · 0 评论 -
hadoop,spark,Zookeeper,,, 这些名字都是怎么来的呢?
Apache首先我们要明白,Apache 是一个 http 服务器,而我们熟悉的另一种说法"Apache Hadoop"中的 Apache 则指的是 Apache 软件基金会。"Apache"是 Apache 软件基金会中的一个项目。关于其名字,流传最广的解释是(也是最显而易见的):这个名字来自于一个事实:当Apache在1995年初开发的时候,它是由当时最流行的HTTP服务器NCSA HTT...原创 2018-10-16 21:33:14 · 173 阅读 · 0 评论 -
slick对超过22个属性的表进行映射的两种办法
版权声明:本文为博主原创文章,未经博主允许不得转载slick是scala的一个FRM(Functional Relational Mapper)框架,即函数式的关系数据库编程工具库。使用slick不同于使用java的hibernate或者是mybatis,对其进行迭代开发非常方便,因为其对表的映射基于函数式的编程方式。使用slick对数据库表映射比较方便。比如有一个表CREAT...原创 2018-09-13 21:06:02 · 397 阅读 · 0 评论