2018年06月_wjn19921104

转载 Scala学习笔记——主构造器、辅助构造器、私有构造器

Scala学习笔记——主构造器、辅助构造器、私有构造器本篇为Scala学习笔记，欢迎转载，请表明出处：http://blog.csdn.net/Captain72/article/details/78855373辅助构造器主构造器私有构造器辅助构造器(Auxiliary Constructor)1. 辅助构造器的名称为this2. 每个辅助构造器都必须以一个对先前已定义的其他辅助构造器或主构造器...

2018-06-28 16:49:52 544

转载 cookie与session的总结简介

1、cookie的作用：我们在浏览器中，经常涉及到数据的交换，比如你登录邮箱，登录一个页面。我们经常会在此时设置30天内记住我，或者自动登录选项。那么它们是怎么记录信息的呢，答案就是今天的主角cookie了，Cookie是由HTTP服务器设置的，保存在浏览器中，但HTTP协议是一种无状态协议，在数据交换完毕后，服务器端和客户端的链接就会关闭，每次交换数据都需要建立新的链接。就像我们去超市买东西，没...

2018-06-27 20:24:05 372

转载 scala 的getOrElse

今天做项目的时候被scala的getOrElse的返回类型坑了很久，特地记录如下：对于scala的getOrElse这个方法，其函数签名如下/* * Returns the option's value if the option is nonempty, otherwise* return the result of evaluating default. * @param default...

2018-06-27 17:20:13 1904

转载 parquet简单介绍与总结

==> 什么是parquet Parquet 是列式存储的一种文件类型==> 官网描述： Apache Parquet is a columnar storage format available to any project in the Hadoop ecosystem, regardless of the choice of data proc...

2018-06-26 20:30:34 15728

转载 java虚拟机内存模型垃圾回收算法内存泄漏及解决 jvm性能调优

一、JVM内存模型及垃圾收集算法 1.根据Java虚拟机规范，JVM将内存划分为：· New（年轻代）· Tenured（年老代）· 永久代（Perm）其中New和Tenured属于堆内存，堆内存会从JVM启动参数（-Xmx:3G）指定的内存中分配，Perm不属于堆内存，有虚拟机直接分配，但可以通过-XX:PermSize -XX:MaxPermSize 等参数调整其大小。 · 年轻代（New...

2018-06-20 11:36:29 243

转载 HDFS数据块的详解

HDFS数据块：与一般文件系统一样，HDFS也有块（block）的概念，HDFS上的文件也被划分为块大小的多个分块作为独立的存储单元。与通常的磁盘文件系统不同的是：HDFS中小于一个块大小的文件不会占据整个块的空间（当一个1MB的文件存储在一个128MB的块中时，文件只使用1MB的磁盘空间，而不是128MB）设置数据块的好处：（1）一个文件的大小可以大于集群任意节点磁盘的容量（2）容易对数据进行备...

2018-06-20 10:27:31 8748 1

转载【Java集合篇之Map】HashMap、HashTable、TreeMap、LinkedHashMap的区别以及应用场景

今天我向大家介绍Map接口中常用的四个集合类，先看看这几种实现类的类结构：[java] view plain copypublic class HashMap<K,V> extends AbstractMap<K,V> implements Map<K,V>, Cloneable, Serializable [java] view plain cop...

2018-06-19 20:24:10 326

原创 flume自定义拦截器

flume自定义拦截器1. 背景介绍Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume有各种自带的拦截器，比...

2018-06-19 20:20:55 585

转载 Shell快速入门

Shell快速入门教程1. Shell程序1.1 基本概念l 以文件的形式批量的存放linux 的命令集合。可以被shell解释执行，这种文件就是shell脚本程序。l Shell程序通常由linux命令，shell命令，控制语句以及注释语句构成。l Shell脚本是纯文本文件，可以由任何文本编辑器编写，shell文件通常是以 .sh 为文件后缀。.bash 结尾的 Shell脚本就是可执行命...

2018-06-19 20:17:13 617

原创 Crontab--定时器

Crontab--定时器要么就是脚本+Crontab 30 0 * * * bash /home/hadoop/beicai1609/auto_shell/datapreament/nohup_run_data_pretreament.sh crond 是 linux 下用来周期性的执行某种任务或等待处理某些事件的一个守护进程，与 windows 下的计划任务类似.crontab 文件的含义：用户...

2018-06-19 20:14:37 233

原创 spark的执行流程

spark的执行流程:spark的集群：master： 1/管理集群，start-all.sh，启动集群，让worker去master 发心跳，上报自己状态，告诉master自己有多少资源（cpu，内存） 2/接受driver的注册。你的程application运行之后，会在driver端，向master进行注册。 3/资源调度，spark程序可以同时的运行很多个application，每...

2018-06-19 20:02:54 560

转载 Spark性能优化指南——高级篇

Spark性能优化指南——高级篇前言继基础篇 (http://tech.meituan.com/spark-tuning-basic.html)讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题...

2018-06-19 19:58:40 398

转载 Spark性能优化指南——基础篇

Spark性能优化指南——基础篇在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。 Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），初开始尝试使用Spark的原因很简单，主要就...

2018-06-19 19:55:10 212

转载 Spark并行度设置总结

Spark性能调优之合理设置并行度1.Spark的并行度指的是什么？ spark作业中，各个stage的task的数量，也就代表了spark作业在各个阶段stage的并行度！当分配完所能分配的最大资源了，然后对应资源去调节程序的并行度，如果并行度没有与资源相匹配，那么导致你分配下去的资源都浪费掉了。同时并行运行，还可以让每个task要处理的数量变少（很简单的原理。合理设置并行...

2018-06-19 19:52:51 1374

wjn19921104的博客