Scala学习笔记——主构造器、辅助构造器、私有构造器

Scala学习笔记——主构造器、辅助构造器、私有构造器本篇为Scala学习笔记,欢迎转载,请表明出处:http://blog.csdn.net/Captain72/article/details/78855373辅助构造器主构造器私有构造器辅助构造器(Auxiliary Constructor)1...

2018-06-28 16:49:52

阅读数 108

评论数 0

cookie与session的总结简介

1、cookie的作用:我们在浏览器中,经常涉及到数据的交换,比如你登录邮箱,登录一个页面。我们经常会在此时设置30天内记住我,或者自动登录选项。那么它们是怎么记录信息的呢,答案就是今天的主角cookie了,Cookie是由HTTP服务器设置的,保存在浏览器中,但HTTP协议是一种无状态协议,在数...

2018-06-27 20:24:05

阅读数 54

评论数 0

scala 的getOrElse

今天做项目的时候被scala的getOrElse的返回类型坑了很久,特地记录如下:对于scala的getOrElse这个方法,其函数签名如下/* * Returns the option's value if the option is nonempty, otherwise * return ...

2018-06-27 17:20:13

阅读数 593

评论数 0

parquet简单介绍与总结

==> 什么是parquet        Parquet 是列式存储的一种文件类型==> 官网描述:            Apache Parquet is a columnar storage format available to any pro...

2018-06-26 20:30:34

阅读数 6690

评论数 0

java虚拟机内存模型 垃圾回收算法 内存泄漏及解决 jvm性能调优

一、JVM内存模型及垃圾收集算法 1.根据Java虚拟机规范,JVM将内存划分为:· New(年轻代)· Tenured(年老代)· 永久代(Perm)  其中New和Tenured属于堆内存,堆内存会从JVM启动参数(-Xmx:3G)指定的内存中分配,Perm不属于堆内存,有虚拟机直接分配,但可...

2018-06-20 11:36:29

阅读数 63

评论数 0

HDFS数据块的详解

HDFS数据块:与一般文件系统一样,HDFS也有块(block)的概念,HDFS上的文件也被划分为块大小的多个分块作为独立的存储单元。与通常的磁盘文件系统不同的是:HDFS中小于一个块大小的文件不会占据整个块的空间(当一个1MB的文件存储在一个128MB的块中时,文件只使用1MB的磁盘空间,而不是...

2018-06-20 10:27:31

阅读数 1563

评论数 0

【Java集合篇之Map】HashMap、HashTable、TreeMap、LinkedHashMap的区别以及应用场景

今天我向大家介绍Map接口中常用的四个集合类,先看看这几种实现类的类结构:[java] view plain copypublic class HashMap<K,V> extends AbstractMap<K,V&amp...

2018-06-19 20:24:10

阅读数 45

评论数 0

flume自定义拦截器

                                               flume自定义拦截器1.  背景介绍Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,F...

2018-06-19 20:20:55

阅读数 203

评论数 0

Shell快速入门

Shell快速入门教程1. Shell程序1.1 基本概念l 以文件的形式批量的存放linux 的命令集合。可以被shell解释执行,这种文件就是shell脚本程序。l Shell程序通常由linux命令,shell命令,控制语句以及注释语句构成。l Shell脚本是纯文本文件,可以由任何文本编辑...

2018-06-19 20:17:13

阅读数 101

评论数 0

Crontab--定时器

Crontab--定时器要么就是脚本+Crontab 30 0 * * * bash /home/hadoop/beicai1609/auto_shell/datapreament/nohup_run_data_pretreament.sh crond 是 linux 下用来周期性的执行某种任务或...

2018-06-19 20:14:37

阅读数 72

评论数 0

spark的执行流程

spark的执行流程:spark的集群 :master: 1/管理集群,start-all.sh,启动集群,让worker去master 发心跳,上报自己状态,告诉master自己有多少资源(cpu,内存) 2/接受driver的注册。你的程application运行之后,会在driver端,...

2018-06-19 20:02:54

阅读数 308

评论数 0

Spark性能优化指南——高级篇

Spark性能优化指南——高级篇前言继基础篇 (http://tech.meituan.com/spark-tuning-basic.html)讲解了每个Spark开发人员都必须熟知的开 发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调 优...

2018-06-19 19:58:40

阅读数 137

评论数 0

Spark性能优化指南——基础篇

Spark性能优化指南——基础篇  在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。 Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学 习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点评, 已经有很多同学在各...

2018-06-19 19:55:10

阅读数 88

评论数 0

Spark并行度设置总结

Spark性能调优之合理设置并行度1.Spark的并行度指的是什么?    spark作业中,各个stage的task的数量,也就代表了spark作业在 各个阶段stage的并行度!    当分配完所能分配的最大资源了,然后对应资源去调节程序的并行度,如 果并行度没有与资源相匹配,那么导致你分配下...

2018-06-19 19:52:51

阅读数 385

评论数 0

数据采集与埋点简介之 代码埋点、可视化埋点与无痕埋点

数据采集与埋点简介之 代码埋点、可视化埋点与无痕埋点博主做移动手机系统中的数据采集与埋点也有近两年,那段时间内一方面是集中在具体的开发和问题细节处理,另外一方面则是在把采集系统适配到不同的平台手机、平板、tv、车载的过程中,有Android和C++两个版本。有一天见到了“神策数据”的这篇博文,发现...

2018-05-31 17:00:10

阅读数 1885

评论数 0

spark中Yarn-Client Yarn-Cluster区别

摘要在Spark中,有Yarn-Client和Yarn-Cluster两种模式可以运行在Yarn上,通常Yarn-cluster适用于生产环境,而Yarn-Cluster更适用于交互,调试模式,以下是它们的区别 Spark插拨式资源管理Spark支持Yarn,Mesos,Standalone三种集...

2018-05-10 15:37:18

阅读数 63

评论数 0

spark的容错,检查点,共享变量的概念浓缩总结

一、容错Spark选择记录更新的方式。但是,如果更新粒度太细太多,那么记录更新成本也不低。因此,RDD只支持粗粒度转换,即只记录单个块上执行的单个操作,然后将创建RDD的一系列变换序列(每个RDD都包含了他是如何由其他RDD变换过来的以及如何重建某一块数据的信息。因此RDD的容错机制又称“血统(L...

2018-05-10 15:33:06

阅读数 72

评论数 0

8种金典排序算法

排序(Sorting) 是计算机程序设计中的一种重要操作,它的功能是将一个数据元素(或记录)的任意序列,重新排列成一个关键字有序的序列。 我整理了以前自己所写的一些排序算法结合网上的一些资料,共介绍8种常用的排序算法,希望对大家能有所帮助。八种排序算法分别是: 1.冒泡排序; 2.选择排序; 3....

2018-05-09 16:00:49

阅读数 73

评论数 0

spark实现wordcount(java,scala版)

scala版object WordCount_Scala_test1 { def main(args: Array[String]) { new SparkContext(new SparkConf().setMaster("local").setA...

2018-05-09 15:57:03

阅读数 43

评论数 0

spark二次排序java版

public class SecondSort_java { public static void main(String[] args){ SparkConf conf = new SparkConf(). setMaster(&...

2018-05-09 15:53:45

阅读数 80

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭