- 博客(22)
- 收藏
- 关注
RSS订阅转载 离线处理网站的PV,UV方案
流程： 导入数据hdfs（flume-->hdfs） 建立hive表 把hdfs上的数据导入到hive表里面 数据清洗-->（先有一个数据清洗表） 数据分析，数据统计-->存放一张表里面 把hive表的数据导出到，mysql中 把mysql里面的㐇给查出来，展示到页面 何为PV？PV（page vi...
2019-01-17 21:31:22
419
转载 基于Spark下的查询数据库中信息Demo
import java.sql.DriverManager import org.apache.spark.rdd.JdbcRDDimport org.apache.spark.{SparkConf, SparkContext} object JDBCRDDDemo extends App { val conf = new SparkConf().setAppName("JDBC...
2019-01-17 21:25:14
415
原创 基于Spark下的wordCount的Demo
import org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[String]): Unit = { val cofg = new SparkConf().setAppName("WC").setMaster("local[2]"); val ...
2019-01-17 21:15:49
207
原创 Spark计算模型之熟练使用RDD的算子完成计算 ----tranfoemation
Spark计算模型之熟练使用RDD的算子完成计算 ----tranfoemation1.弹性分布式数据集RDD 1.1什么是RDD RDD(Rsedilient Distributed Dataaset)叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用...
2019-01-10 21:39:51
320
原创 Spark的指令
Master节点存在单点故障，要解决此问题，就要借助zookeeper,，并且启动至少两个Master节点来实现高可靠，配置方式比较简单 :1.安装配置zk集群，并启动zk集群 zkServer.sh start2.在root1上执行sbin/start-all.sh脚本，然后在min2上执行sbin/start-master.sh启动第二个Master3. 进入spark/bin...
2019-01-09 20:51:32
432
转载 Spark中RDD是什么？
一、RDD是什么？RDD是一个弹性可复原的分布式数据集！RDD是一个逻辑概念，一个RDD中有多个分区，一个分区在Executor节点上执行时，他就是一个迭代器。一个RDD有多个分区，一个分区肯定在一台机器上，但是一台机器可以有多个分区，我们要操作的是分布在多台机器上的数据，而RDD相当于是一个代理，对RDD进行操作其实就是对分区进行操作，就是对每一台机器上的迭代器进行操作，因为迭代器引用...
2019-01-09 20:37:27
179
原创 Spark
1.什么是spark? http://spark.apache.org/ 官网Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分销AMPLap，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为多个子项目的集合，其中包含SparkSQL、Spark Streaming、Gr...
2019-01-09 19:50:59
173
原创 Scala编程实战 RPC
1. 熟练使用Scala编写程序2. 项目概述 2.1 需求 目前大多数的分布式架构层通信都是通过RPC实现的，RPC架构非常多，比如Hadoop项目的RPC通信框架，但是Hadoo在设计之初就是为了运行长达数小时的批量而设计的，在某些极端的情况下，任务提交的延迟很高，所有Hadoop的RPC显得有些笨重 Spark的RPC是通过AKKa类库实现的，Akka用Scala语言开发...
2019-01-08 21:29:02
321
原创 基于Scala的Actor对字进行统计
基于Scala的Actor对字进行统计 用actor并发编程写一个单机版的WorldCount，将多个文件作为输入，计算完成后将多个任务汇总，得到最终的结果package com.zhiyou100.ScalaActor_akkaimport scala.actors.{Actor, Future}import scala.collection.mutableimport sc...
2019-01-08 20:33:31
166
原创 Scala Actor的并发编程
1.什么是Scala Actor概念 Scala中的Actor能够实现并行编程的强大功能，它是基于事件模型的并发机制，Scala是运用消息(massage)的发送，接收来实现多线程的，使用Scala能够更能够地实现多线程应用的开发。2.1传统java并发编程与Scala Actor编程的区别'2.2 对于Java,它的多线程实现需要对共享资源（变量，对象等）使用synchroniz...
2019-01-08 19:23:17
897
原创 Scala偏函数
被包含在花括号内没有match的一组case语句是一个偏函数，它是PartialFunction[A,B]的一个实例，A代表参数类型，B代表返回类型，常用作输入模式匹配package pricateobject PartialFuncDemo { def func1:PartialFunction[String,Int]={ case "one"=>1 case...
2019-01-05 10:41:20
111
原创 Scala的Option类型
在Scala中Option类型样例类用来表示可能存在或也可能不存在的值(Option的子类有Some和None)。Some包装了某个值，None表示没有值package pricate.超类object OptionDemo { def main(args: Array[String]): Unit = { val map=Map("a"->1,"b"->2) ...
2019-01-05 10:22:57
414
原创 Scalad的样例类
在Scala中样例类是一中特殊的类，可用于模式匹配。case class是多例的，后面要跟构造参数，case object是单例的package pricate.超类import Scala_2019_01_04Match.{CheckTimeOutTask, HearBeat, SubmitTask}import scala.util.Random//在Scala中样类是一种特殊的类...
2019-01-05 10:16:32
254
原创 Scala模式匹配和样例类
Scala模式匹配和样例类Scala有一个十分强大的模式匹配机制，可以应用到很多场合，如switch语句、类型检查等，并且scala还提供了样例类，对模式匹配进行了优化，可以快速匹配 1.匹配字符串package pricateimport scala.util.Randomobject CaseDemo01 extends App { val arr=Array("鲁班",...
2019-01-05 10:12:12
273
原创 Scala的继承
6.3.1 扩展类在Scala中、扩展类的方法和Java一样都是使用extends关键字6.3.2 重写方法在Scala中重写一个非抽象的方法必须使用override修饰符6.3.3 类型检查和转换6.3.4 超类的构造 trait相当于java中抽象类，它们的区别是 trait可以在抽象类写入方法，也可以不写，再继承后写，根据当时编码情况 一个抽象类中可以有多个...
2019-01-04 21:31:36
699
原创 Scala的apply方法
.通常会在类的伴生对象中定义apply方法，当遇到类名（参数1，....参数n）时，apply方法会被调用package pricateobject ApplyDemo { def main(args: Array[String]): Unit = { //调用了array伴生对象的apply方法 //def apply（x:Int,xs:Int*）Arra[Int]...
2019-01-04 21:02:27
307
原创 Scala的单例模式
Scala的单例模式在Scala中没有静态方法和静态字段，但是可以使用object这个语法结构来达到同样的目的1.存放工具方法和常量2.高效共享单个不可变的实例 3. 单例模式 package pricateimport scala.collection.mutable.ArrayBufferobject SingletonDemo { def main(ar...
2019-01-04 20:44:27
2564
1
原创 Scala的伴生对象
Scala的伴生对象 在Scala的类中，与类名相同的对象叫做伴生对象，类和伴生对象之间可以相互访问私有的方法和属性 ,伴生对象可以调用类中方法和参数。package pricateclass Dog { val id=1 private var name="小猪猪" def printName(): Unit ={ //在Dog类中可以访问伴生对象Dog的私有属性...
2019-01-04 20:26:27
329
原创 Scala的构造器
Scala的构造器注意：主构造器会执行类定义中的所有语句 实例一/** *每个类都有主构造器，主构造器的参数直接放置类名后面，与类交织在一起 */class Student(val name: String, val age: Int){ //主构造器会执行类定义中的所有语句 println("执行主构造器") try { println("读取文件...
2019-01-04 20:02:38
214
原创 Scala类的定义
package pricate//在scala中，类并不用声明为public//scala源文件中可以包含多个类，所有这些类都具有公有客可见性class Person {//用scala修饰的变量是只读属性，有gettter但没有setter //相当于java中用final修饰的变量 val id="9527" //用var修饰的变量既有getter又有setter v...
2019-01-04 19:26:04
1097
原创 Scala
Scala概述1.什么是Scala? Scala是一种多范式的编程语言，其设计的初衷是要继承面向对象编程和函数式编程的各种特性。Scala运行于Java平台（java虚拟机），并兼容现有的java程序。2. 为什么要学Scala1.优雅：这是框架设计师第一个要考虑的问题，框架的用户是应用开发程序员，API是否优雅直接影响用户体验。2. 速度快：Scala语言表达式能力强，一行...
2019-01-03 17:14:46
167
原创 SQL优化：
SQL优化：应该尽量避免在where子句中使用！=或<>操作符，否则将导致引擎放弃使用索引而进行权标扫描；对查询进行优化，应尽量避免全表扫描，首先应考虑在where及order by设计的列上建立索引；应该尽量避免在where子句中对字段进行null值判断；尽量避免在where子句中使用or来连接条件；模糊查询也将导致全表扫描；in 和not in也要慎用，否则会导致全...
2019-01-03 09:20:27
128
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人