scala模式匹配错误

scala模式匹配涉及到泛型时, 如果A在运行时并不存在。这意味着,对于实例来讲,任何参数都将被编译成AnyRef test("checkList"){ val a = List(1,2,3,5,6) val b = List("1",&qu...

2019-05-22 14:34:28

阅读数 3

评论数 0

Spark 2.x No Encoder found for org.apache.spark.sql.Row

Exception in thread “main” java.lang.UnsupportedOperationException: No Encoder found for org.apache.spark.sql.Row - field (class: “org.apache.spark...

2019-04-03 17:38:38

阅读数 35

评论数 0

JVM

JVM 类加载 加载 将class文件加载到内存, 将数据结构加载到方法区中 连接 检验 检验类是否符合JVM规范 准备 给static变量赋初始值 解析 将常量池中的符号引用替换为直接引用 初始化 静态代码块 构造器 使用 卸载 类加载器 Boo...

2018-12-22 21:28:24

阅读数 59

评论数 0

多线程高并发

多线程高并发 线程锁 Lock synchronized synchronized 是 java 内置的语言,是 java 的关键字 synchronized 不需要手动去释放锁,当 synchronized 方法或者 synchronized 代码块执行完毕。系统会...

2018-12-22 21:28:06

阅读数 35

评论数 0

Storm入门(二)

1、storm内部原理和任务提交 客户端提交topology到nimbus主节点 nimbus主节点接受到客户端的任务信息,然后保存到本地目录,后期把任务的分配信息写入到zk集群中 zk保存任务的划分信息,包括后期再哪些supervisor节点启动对应的worker进程来运行对应的task ...

2018-12-14 23:06:59

阅读数 31

评论数 0

Storm入门(一)

1、storm概述 1.1 storm是什么 storm是由twitter公司开源,捐献apache基金会,是一个实时处理框架。 storm特点:来一条数据就处理一条,实时性比较高 sparkStreaming:并不是来一条数据就处理一条,以某一时间间隔的批量处理。实时性比较低,延迟比较高。 ...

2018-12-14 23:04:51

阅读数 35

评论数 0

Hbase入门

1、hbase概述 1.1 hbase是什么 hbase是基于hdfs进行数据的分布式存储,具有高可靠、高性能、列存储、可伸缩、实时读写的nosql数据库。 hbase可以存储海量的数据,并且后期查询性能很高,可以实现上亿条数据的查询秒级返回结果。 1.2 hbase表的特性 1、大 hba...

2018-12-09 20:56:37

阅读数 31

评论数 0

Spark入门(四)

1、sparkStreaming概述 1.1 sparkStreaming是什么 Spark Streaming makes it easy to build scalable fault-tolerant streaming applications. sparkStreaming可以非常容...

2018-12-07 16:43:55

阅读数 71

评论数 0

kafka入门

1、kafka概述 1.1 kafka是什么 kafka是由linkedin开源,捐献apache基金会,它是一个实时的分布式消息队列。 它提供了一个对于实时处理下高可靠,高性能,高吞吐量、低延迟的平台 1.2 消息队列的作用 解耦、异步、并行 1.3 kafka与activeMQ区别 ...

2018-12-05 21:56:56

阅读数 54

评论数 0

Spark入门(三)

1、sparksql概述 1.1 sparksql shark它是专门为spark设计的大规模数据仓库系统 shark依赖于hive的代码,同时也依赖spark版本 后期发现hive的mapreduce设计框架限制了shark的性能 慢慢的把shark这个框架废弃,把重点转移到了sparksq...

2018-12-04 00:12:29

阅读数 43

评论数 0

Spark入门(二)

1、RDD概述 1.1 什么是RDD RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。 Dataset:它是一个集合,集合里面有很多个元素 Distributed:...

2018-12-04 00:11:29

阅读数 53

评论数 0

Spark入门(一)

1、spark概述 1.1 什么是spark Apache Spark™ is a unified analytics engine for large-scale data processing. apache的spark是一个针对于大规模数据处理的统一分析引擎 spark是基于内存计算...

2018-12-01 14:55:57

阅读数 85

评论数 0

Scala实现简易Spark RPC通信

Scala Akka实现简易Spark RPC通信 Akka Akka 用 Scala 语言开发,基于 Actor并发模型实现,Akka 具有高可靠、高性能、可扩展等特点,使用 Akka 可以轻松实现分布式 RPC 功能。 Actor 是 Akka 中最核心的概念,它是一个封装了状态和行为的对象...

2018-11-29 23:02:46

阅读数 78

评论数 0

Scala入门(四) 高级特性

高阶函数 Scala 混合了面向对象和函数式的特性,我们通常将可以作为参数传递到方法中的表达式叫做函数 作为值的函数 val arr = Array(1,2,3,4) val f1 = (x:Int) => x*2 arr.map(f1)//Array(2,4,6,8...

2018-11-29 23:01:46

阅读数 29

评论数 0

Scala入门(三) Actor并发编程

Actor 编程 Actor简介 Scala 中的 Actor 能够实现并行编程的强大功能,它是基于事件模型的并发机制,Scala是运用消息的发送、接收来实现高并发的。 ​ Actor 可以看作是一个个独立的实体,他们之间是毫无关联的。但是,他们可以通过消息来通信。一个 Actor 收到...

2018-11-28 15:24:31

阅读数 44

评论数 0

Scala入门(二) 面向对象

Class类 属性定义 val 只读属性 只有getter var 读写属性 有getter又有setter private val 只能在类内部和伴生对象中访问 private[this] val 只能在类内部访问 构造器 主构造器 class Student(val name...

2018-11-28 15:23:38

阅读数 33

评论数 0

Scala入门(一) 基础语法

Scala入门(一) 1、scala概述 1.1 什么是scala scala是一个具有面向对象编程和函数式编程的语言。运行于java虚拟机,并且兼容java程序。 www.scala-lang.org 1.2 为什么要学习scala 1、优雅 2、速度快 3、融合到hadoop生态圈 ...

2018-11-28 15:23:08

阅读数 40

评论数 0

Hadoop入门(二)

Hadoop Archives HDFS 并不擅长存储小文件,因为每个文件最少一个 block,每个 block 的元数据都会在 NameNode 占用内存,如果存在大量的小文件,它们会吃掉NameNode 节点的大量内存。 Hadoop Archives 可以有效的处理以上问题,它可以把多个文...

2018-11-25 22:48:13

阅读数 27

评论数 0

HDFS入门(二)

HDFS元数据 元数据 按类型分 文件, 目录自身的属性信息 文件的存储块信息 分块情况 副本个数 DN的信息 元数据 按形式分 内存元数据 包含hdfs最完整的数据 磁盘元数据 fsimage镜像文件 包含hdfs的所有目录和文件元数据信息, 但不包括文件块位置的信息, 文件块...

2018-11-25 22:47:04

阅读数 24

评论数 0

Yarn入门

Yarn入门 Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统和调度平台,可为上层应用提供统一的资源管理和调度 yarn 并不清楚用户提交的程序的运行机制...

2018-11-25 22:46:24

阅读数 25

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭