每天一滴水-CSDN博客

原创 spark core

1.Driver：是运行程序的时候，具有main方法并且创建了sparkcontext，这样的一个环境对象。（两点：main方法，创建spakcontext（他是运行调度的核心）），创建sparkcontext时候要有高层调度器（DAGshuler）、底层调度器（taskshuldler）、shudlerbanukander，之后向mater注册应用程序，然后mater给分配资源，然后就是运行j...

2018-08-07 17:41:00 251

原创 spark性能优化

优化思路：我认为性能优化首先的前提是程序没有错，尤其是没有oom的前提下，才能谈性能优化，从而让程序运行的快速、高效。那么现一、在谈谈怎么避免oom的几个方案：解决的核心特点就是1.增大内存 2.减少任务内存的使用率对于增大内存方案：对于减少任务对内存的使用率方案： 1.减少并行度：1.减少executor上的core数量（并行的任务少了，内存的占用就少了） ...

2018-07-24 18:13:16 237

原创 scala之集合

list 不可变的单链表创建：举例，val list =List(1,2,3) 方法：head 取list第一个元素，tail 取list除了head元素外其他元素返回list，size list的大小，通过下标取list(n)，还可以通过高级函数来如foreach输出list元素，map转化列表，reduce将列表归约为一项 Set 不可变无需集合操作同List...

2018-07-04 18:06:37 220

原创 spark源码伴读之AKKa

什么是Actors我们这把Actors当作是一个人，这个人不会自己和其他的人直接说话，他们只通过mail来进行交流。 Actors特点对比传统线程的特点：维护困难，常常会存在僵尸进程的bug很难重现，或者线程良妃大量的时间来等待共享状态而阻塞 AKKa Actors:可以更好地控制子任务，不使用锁机制和同步块消息传递（Actor模型的一个基本特征）假设有...

2018-07-02 17:11:23 195

原创 scala之函数

本文章将介绍scala函数的部分，并按照知识点讲解知识点一：写scala函数，应该考虑的问题是重用性、可组合性（这两个特点，就像是UNIX高手会把多个单独用途的工具组合在一个复杂的管道命令里）、简短、可读（使用参数化函数可以是代码，更简短，更可读）知识点二：纯函数（输入输出数据流全是显式（Explicit）的，通俗说就是函数体内的参数全部由函数提供），非纯函数反之；//一些例子/...

2018-06-28 14:06:29 822

原创 spark源码二：sparkContext初始化之spark的执行环境SparkConf

SparkEnv是Spark的执行环境对象，其中包括众多与Executor执行相关的对象。由于在local模式下Driver会创建Executor，local-cluster部署模式或者Standalone部署模式下Worker另起的CoarseGrainedExecutorBackend进程中也会创建Executor，所以SparkEnv存在于Driver或者CoarseGrainedExecu...

2018-06-25 16:20:56 489

原创 spark源码一：sparkContext初始化之SparkConf

概述： 1.sparkContext初始化很重要，因为他是Driver应用程序提交执行的前提，只有sparkContext初始化后才可以Driver提交用户应用程序，也就是说spark driver的初始化围绕着sparkContext初始化展开的，SparkContext可以算是spark应用程序的发动机引擎 2.源码研究以local模式为主 3.Spark中的组件很多...

2018-06-21 10:28:15 882

原创网址收藏

myeclipse下载网址 http://www.myeclipsecn.com/

2016-11-17 10:42:09 178

原创 jQuery 插件学习

http://www.cnblogs.com/Wayou/p/jquery_plugin_tutorial.html#home

2016-05-10 09:59:45 318

原创 pc相册制作，手机版相册制作

pc相册效果制作<div id="cont_one_3" class="one"> <div class="score_in_share"> <div class="show"><img src="images/score_share1.gif" /></div> <div class="cl"></div> </div

2016-04-12 16:35:01 545

原创 java网站收藏

Java安全管理器——SecurityManager http://bubuko.com/infodetail-306759.html

2016-03-11 16:21:06 232

原创功能块网站推荐

一.jsp页面实现文件上传下载 http://bbs.blueidea.com/thread-2732283-1-1.html

2016-03-11 10:43:17 285

转载富文本编辑器

简易的富文本编辑器所见即所得富文本编辑器实现原理相信很多人都使用过多种富文本编辑器，富文本编辑器常用于编辑博客、用户交互，富文本编辑器分为两种：所见即所得和非所见即所得两种富文本编辑器的实现原理是不相同的。非所见即所得编辑器这种编辑器的实现原理很简单，用textarea元素就可以实现，假如要实现粗体、斜体、下划线、颜色字、图片的效果，只需在字的中间加上自定义标签即可，例如： [b]富文本编辑

2016-03-10 15:11:21 508

原创 js实现倒计时功能

function aaa(){ var date1=new Date(); //开始时间 var date2=new Date("2016-03-27"); //结束时间 var date3=date2.getTime()-date1.getTime(); //时间差的毫秒数 //计算出相差天数 days=Mat

2016-03-09 11:47:13 282

原创网页自动识别跳转手机或pc

方法一：java类的方式 …下面是判断是否为手机的类package com.daos.util;import javax.servlet.http.HttpServletRequest;public class Tools { /** 手机浏览器的User-Agent里的关键词 */ /** 手机浏览器的User-Agent里的关键词 */ private static St

2016-03-07 11:02:51 1720

原创图片轮播

jsp代码 <div id="adver"> <div id="module_1" class="swiper-container"> <div class="swiper-wrapper"> <div class="two swiper-slide"><img src="${templateImgMPath}

2016-02-29 09:28:23 396