abcdefghwelcome的博客

小菜鸟的成长**^@^**

离线处理网站的PV,UV方案

流程:   导入数据hdfs(flume-->hdfs) 建立hive表 把hdfs上的数据导入到hive表里面 数据清洗-->(先有一个数据清洗表) 数据分析,数据统计-->存放一张...

2019-01-17 21:31:22

阅读数 18

评论数 0

基于Spark下的查询数据库中信息Demo

import java.sql.DriverManager import org.apache.spark.rdd.JdbcRDD import org.apache.spark.{SparkConf, SparkContext} object JDBCRDDDemo extends ...

2019-01-17 21:25:14

阅读数 30

评论数 0

基于Spark下的wordCount的Demo

import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { val cofg = new SparkConf()....

2019-01-17 21:15:49

阅读数 16

评论数 0

Spark计算模型之熟练使用RDD的算子完成计算 ----tranfoemation

Spark计算模型之熟练使用RDD的算子完成计算  ----tranfoemation 1.弹性分布式数据集RDD    1.1什么是RDD   RDD(Rsedilient Distributed Dataaset)叫做分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、...

2019-01-10 21:39:51

阅读数 11

评论数 0

Spark的指令

Master节点存在单点故障,要解决此问题,就要借助zookeeper,,并且启动至少两个Master节点来实现高可靠,配置方式比较简单 : 1.安装配置zk集群,并启动zk集群   zkServer.sh start 2.在root1上执行sbin/start-all.sh脚本,然后在min...

2019-01-09 20:51:32

阅读数 8

评论数 0

Spark中RDD是什么?

一、RDD是什么? RDD是一个弹性可复原的分布式数据集! RDD是一个逻辑概念,一个RDD中有多个分区,一个分区在Executor节点上执行时,他就是一个迭代器。 一个RDD有多个分区,一个分区肯定在一台机器上,但是一台机器可以有多个分区,我们要操作的是分布在多台机器上的数据,而RDD相当于...

2019-01-09 20:37:27

阅读数 6

评论数 0

Spark

1.什么是spark?   http://spark.apache.org/  官网 Spark是一种快速、通用、可扩展的大数据分析引擎,2009年诞生于加州大学伯克利分销AMPLap,2010年开源,2013年6月成为Apache孵化项目,2014年2月成为Apache顶级项目。目前,Spar...

2019-01-09 19:50:59

阅读数 13

评论数 0

Scala编程实战 RPC

1.  熟练使用Scala编写程序 2. 项目概述  2.1 需求  目前大多数的分布式架构层通信都是通过RPC实现的,RPC架构非常多,比如Hadoop项目的RPC通信框架,但是Hadoo在设计之初就是为了运行长达数小时的批量而设计的,在某些极端的情况下,任务提交的延迟很高,所有Had...

2019-01-08 21:29:02

阅读数 26

评论数 0

基于Scala的Actor对字进行统计

基于Scala的Actor对字进行统计    用actor并发编程写一个单机版的WorldCount,将多个文件作为输入,计算完成后将多个任务汇总,得到最终的结果 package com.zhiyou100.ScalaActor_akka import scala.actors.{Actor...

2019-01-08 20:33:31

阅读数 7

评论数 0

Scala Actor的并发编程

1.什么是Scala Actor 概念 Scala中的Actor能够实现并行编程的强大功能,它是基于事件模型的并发机制,Scala是运用消息(massage)的发送,接收来实现多线程的,使用Scala能够更能够地实现多线程应用的开发。 2.1传统java并发编程与Scala Actor编程的区...

2019-01-08 19:23:17

阅读数 25

评论数 0

Scala偏函数

被包含在花括号内没有match的一组case语句是一个偏函数,它是PartialFunction[A,B]的一个实例,A代表参数类型,B代表返回类型,常用作输入模式匹配 package pricate object PartialFuncDemo { def func1:PartialF...

2019-01-05 10:41:20

阅读数 13

评论数 0

Scala的Option类型

在Scala中Option类型样例类用来表示可能存在或也可能不存在的值(Option的子类有Some和None)。Some包装了某个值,None表示没有值 package pricate.超类 object OptionDemo { def main(args: Array[String]...

2019-01-05 10:22:57

阅读数 9

评论数 0

Scalad的样例类

在Scala中样例类是一中特殊的类,可用于模式匹配。case class是多例的,后面要跟构造参数,case object是单例的 package pricate.超类 import Scala_2019_01_04Match.{CheckTimeOutTask, HearBeat, Subm...

2019-01-05 10:16:32

阅读数 17

评论数 0

Scala模式匹配和样例类

Scala模式匹配和样例类 Scala有一个十分强大的模式匹配机制,可以应用到很多场合,如switch语句、类型检查等,并且scala还提供了样例类,对模式匹配进行了优化,可以快速匹配  1.匹配字符串 package pricate import scala.util.Random ob...

2019-01-05 10:12:12

阅读数 19

评论数 0

Scala的继承

6.3.1 扩展类 在Scala中、扩展类的方法和Java一样都是使用extends关键字 6.3.2 重写方法 在Scala中重写一个非抽象的方法必须使用override修饰符 6.3.3 类型检查和转换 6.3.4 超类的构造    trait相当于java中抽象类,它们的区别是...

2019-01-04 21:31:36

阅读数 23

评论数 0

Scala的apply方法

.通常会在类的伴生对象中定义apply方法,当遇到类名(参数1,....参数n)时,apply方法会被调用 package pricate object ApplyDemo { def main(args: Array[String]): Unit = { //调用了array伴生...

2019-01-04 21:02:27

阅读数 15

评论数 0

Scala的单例模式

Scala的单例模式 在Scala中没有静态方法和静态字段,但是可以使用object这个语法结构来达到同样的目的 1.存放工具方法和常量 2.高效共享单个不可变的实例 3. 单例模式    package pricate import scala.collection.mutab...

2019-01-04 20:44:27

阅读数 12

评论数 0

Scala的伴生对象

Scala的伴生对象  在Scala的类中,与类名相同的对象叫做伴生对象,类和伴生对象之间可以相互访问私有的方法和属性  ,伴生对象可以调用类中方法和参数。 package pricate class Dog { val id=1 private var name="...

2019-01-04 20:26:27

阅读数 14

评论数 0

Scala的构造器

Scala的构造器 注意:主构造器会执行类定义中的所有语句  实例一 /** *每个类都有主构造器,主构造器的参数直接放置类名后面,与类交织在一起 */ class Student(val name: String, val age: Int){ //主构造器会执行类定义中的...

2019-01-04 20:02:38

阅读数 12

评论数 0

Scala类的定义

package pricate //在scala中,类并不用声明为public //scala源文件中可以包含多个类,所有这些类都具有公有客可见性 class Person { //用scala修饰的变量是只读属性,有gettter但没有setter //相当于java中用final修饰的变...

2019-01-04 19:26:04

阅读数 11

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭