LoneSurvivor的博客

一入通信深似海,从此红颜是路人

排序:
默认
按更新时间
按访问量

数据结构与算法(2)—— 栈(java)

1 栈的实现 1.1 简单数组实现栈 package mystack; public class ArrayStack { private int top; //当前栈顶元素的下标 private int[] array; public ArrayStack() { ...

2018-10-23 22:00:29

阅读数:1

评论数:0

Spark学习笔记(12)——SparkSQL

1 SparkSQL 介绍 Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 已经学习了Hive,它是将Hive SQL转换成MapReduce然后提交到集群上执行,大大简化了编写MapReduce的程序的复...

2018-10-23 18:43:38

阅读数:5

评论数:0

Spark学习笔记(11)—— spark任务提交,调试

1 源码 package demo import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { val conf = n...

2018-10-22 14:23:32

阅读数:3

评论数:0

Spark学习笔记(10)—— wordcount 执行流程分析

1 启动集群 启动 HDFS start-dfs.sh 启动 Spark 集群 /home/hadoop/apps/spark-1.6.3-bin-hadoop2.6/sbin/start-all.sh 启动 Spark Shell /home/hadoop/apps/spark-1.6....

2018-10-22 10:37:26

阅读数:9

评论数:0

Spark学习笔记(9)—— Spark IP位置查询

1 数据源 ip.txt 1.0.1.0|1.0.3.255|16777472|16778239|亚洲|中国|福建|福州||电信|350100|China|CN|119.306239|26.075302 1.0.8.0|1.0.15.255|16779264|16781311|亚洲|中国|广东|广...

2018-10-19 17:41:59

阅读数:11

评论数:0

Spark学习笔记(8)——自定义排序

1 案例1 第一种方式 package mysort import org.apache.spark.{SparkConf, SparkContext} object CustomSort { def main(args: Array[String]): Unit = { val co...

2018-10-19 16:38:50

阅读数:6

评论数:0

Spark学习笔记(7)——分区实现

1 测试1 package webcount import java.net.URL import org.apache.spark.{SparkConf, SparkContext} object UrlCountPartition { def main(args: Array[Strin...

2018-10-19 11:48:37

阅读数:13

评论数:0

Spark学习笔记(6)—— 网站访问次数统计

1 数据文件 20160321101954 http://java.itcast.cn/java/course/javaeeadvanced.shtml 20160321101954 http://java.itcast.cn/java/course/javaee.shtml 2016032110...

2018-10-18 21:05:36

阅读数:5

评论数:0

Spark学习笔记(5)—— 计算用户在小区停留时间最长的两个小区

1 数据源 1.txt 18688888888,20160327082400,16030401EAFB68F1E3CDF819735E1C66,1 18611132889,20160327082500,16030401EAFB68F1E3CDF819735E1C66,1 18688888888,2...

2018-10-18 17:09:01

阅读数:8

评论数:0

Spark学习笔记(4)—— RDD 高级算子

1 启动集群 启动 Spark集群 /home/hadoop/apps/spark-1.6.3-bin-hadoop2.6/sbin/start-all.sh 启动 Spark Shell /home/hadoop/apps/spark-1.6.3-bin-hadoop2.6/bin/spar...

2018-10-18 14:59:14

阅读数:9

评论数:0

Spark学习笔记(3)—— Spark计算模型 RDD

1

2018-10-17 19:51:13

阅读数:13

评论数:0

Spark学习笔记(3)—— Spark算子

1 Spark算子 1.1 分为两类 1.1.1 Transformation(转换) Transformation 延迟执行,它会记录元数据信息,当计算任务触发 Action 时才会真正开始计算。 1.1.2 Action(动作) 1.2 创建RDD的两种方式 通过HDFS支持的文件系统创建R...

2018-10-17 16:33:06

阅读数:8

评论数:0

Spark学习笔记(2)—— Spark 和HDFS版 wordcount

1 启动 HDFS [hadoop@node1 ~]$ start-dfs.sh Starting namenodes on [node1] node1: starting namenode, logging to /home/hadoop/apps/hadoop-2.7.6/logs/hadoo...

2018-10-16 15:53:00

阅读数:10

评论数:0

Spark学习笔记(1)—— Spark 介绍,集群安装

1 Spark 介绍 2 Spark 集群安装 下载地址https://spark.apache.org/downloads.html 2.1 源码上传到集群 解压 2.2 修改配置文件 2.2.1 spark-env.sh [hadoop@node1 ~]$ cd /home/hadoo...

2018-10-16 12:31:07

阅读数:2

评论数:0

Scala学习笔记(13)——隐式转换

1 泛型 [T <: UpperBound] [T >: LowerBound] [T <% ViewBound] [T : ContextBound] [+T] [-T] 1.1 案例1 package...

2018-10-16 09:34:16

阅读数:12

评论数:0

Scala学习笔记(12)—— scala 高级特性

1 高阶函数 Scala混合了面向对象和函数式的特性,通常将可以做为参数传递到方法中的表达式叫做函数。在函数式编程语言中,函数是“头等公民”,高阶函数包含:作为值的函数、匿名函数、闭包、柯里化等等。 1.1 作为值的函数 可以像任何其他数据类型一样被传递和操作的函数,每当你想要给算法传入具体动作时...

2018-10-15 12:24:58

阅读数:5

评论数:0

Scala学习笔记(11)—— RPC 通信框架

1 通信业务逻辑 定义2个类 Master, Worker。首先启动Master,然后启动Worker Worker 启动后,在 preStart 方法中与 Master 建立连接,向 Master 发送注册,将 Worker 的信息通过 case class 封装起来发送给 Master. M...

2018-10-14 16:05:37

阅读数:8

评论数:0

Scala学习笔记(10)—— Akka 实现简单 RPC 框架

1 Akka 介绍 目前大多数的分布式架构底层通信都是通过RPC实现的,RPC框架非常多,比如前我们学过的Hadoop项目的RPC通信框架,但是Hadoop在设计之初就是为了运行长达数小时的批量而设计的,在某些极端的情况下,任务提交的延迟很高,所有Hadoop的RPC显得有些笨重。Spark 的R...

2018-10-14 10:58:48

阅读数:4

评论数:0

Scala学习笔记(9)——java多线程

1 java 多线程 import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; public class ThreadPool { public static void main...

2018-10-13 10:09:29

阅读数:0

评论数:0

Scala学习笔记(8)—— Actor版 wordcount

1 数据 2 源码 package wc import scala.actors.{Actor, Future} import scala.collection.mutable import scala.collection.mutable.ListBuffer import scala.io...

2018-10-12 22:47:57

阅读数:10

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭