关闭

spark源码编译(maven)

从Spark官网上下载编译好的安装包,并不一定能够满足需要,有时候希望通过阅读和调试Spark源码来深入理解其内部机制,这时候需要自己去手动编译Spark。 Spark可以通过SBT和Maven两种方式进行编译,再通过make-distribution.sh脚本生成分布式的部署包。SBT编译需要安装git工具,而Maven安装则需要maven工具准备:JDK,maven(或sbt)1. 源码下载:...
阅读(268) 评论(0)

ganglia的安装部署对spark集群监控

1.ganglia简介 Ganglia 是 UC Berkeley 发起的一个开源监视项目,可以对分布式集群的所有计算资源进行监控。 ganglia由三个组件构成 gmond :(client)是一个守护进程,他运行在每一个需要监测的节点上,收集监测统计,发送和接受在同一个组播或单播通道上的统计信息 如果他是一个发送者(mute=no)他会收集基本指标,比如系统负载(load_one),CPU利...
阅读(625) 评论(0)

JFreechart的Axis坐标设置的方法总结

转自http://blog.csdn.net/wwchu/article/details/6151872一些关于AXIS类的方法: Axis 类: void setVisible(boolean flag)坐标轴是否可见 void setAxisLinePaint(Paint paint)坐标轴线条颜色(3D轴无效) void setAxisLineStroke(Stroke stroke...
阅读(2672) 评论(0)

Linux内核Kprobes调试技术

内核开发者一直在试图寻找一种快捷高效的内核调试手段,用于内核开发之中。高效的调试技术有利于提高内核开发效率,缩短内核开发周期。    本文研究了一种新型的内核调试技术―Kprobes, Kprobes是一个轻量级的内核调试工具,利用Kprobes技术可以在运行的内核中动态的插入探测点,在探测点处执行用户预定义的操作。本文首先根据Kprobes在Linux内核中的源码实现,针对Linux CPU异常...
阅读(374) 评论(0)

Tomcat的类加载

转自:http://www.tuicool.com/articles/NrI7NrN 跟其他主流的Java Web服务器一样,Tomcat也拥有不同的自定义类加载器,达到对各种资源库的控制。一般来说,Java Web服务器需要解决以下四个问题: ①   同一个Web服务器里,各个Web项目之间各自使用的Java类库要互相隔离。 ②   同一个Web服务器里,各个Web项目之间可以...
阅读(359) 评论(0)

学习tomcat之servlet容器

转载:http://blog.csdn.net/chenleixing/article/details/48153235     其实我们开发中经常用tomcat应用服务器,tomcat就一个servlet容器,能够运行基于serlvlet的应用程序并响应相应的http请求,开发时间长了,还是想想具体知道它是怎么运行的,尤其是servlet容器的机理,所以有幸拜读了外国人的《...
阅读(486) 评论(0)

Java并发编程-Lock和condition的原理及AQS的运用

AQS的全称为(AbstractQueuedSynchronizer),这个类也是在java.util.concurrent.locks下面。这个类似乎很不容易看懂,因为它仅仅是提供了一系列公共的方法,让子类来调用。那么要理解意思,就得从子类下手,反过来看才容易看懂。如下图所示: 图 5-15 AQS的子类实现 这么多类,我们看那一个?刚刚提到过锁(Lock),我们就从锁开...
阅读(2273) 评论(0)

Https协议连接过程

思考问题的顺序 学技术时,总是会问什么?这里也不例外,https为什么会存在,它有什么优点,又有什么缺点?为什么网站有的用http,有的用https?如果不能很好的回答,就往下看吧。 http通信存在的问题 容易被监听  http通信都是明文,数据在客户端与服务器通信过程中,任何一点都可能被劫持。比如,发送了银行卡号和密码,hacker劫取到数据,就能看到卡号和密码,这是很...
阅读(710) 评论(0)

Java IO底层原理

转自:http://www.importnew.com/14111.html 本博文主要讨论I/O在底层是如何工作的。本文服务的读者,迫切希望了解Java I/O操作是在机器层面如何进行映射,以及应用运行时硬件都做了什么。假定你熟悉基本的I/O操作,比如通过Java I/O API读写文件。这些内容不在本文的讨论范围。 目录 缓存处理和内核vs用户空间虚拟内存内存分页面向文件...
阅读(3200) 评论(0)

【面试编程题】-10剑指offer之面试中的各项能力

下面的例题来自于剑指offer的第6章的内容,主要考察面试者在面试过程当中的沟通、学习等方面的能力 1.数字在排序数组中出现的次数题目描述 统计一个数字在排序数组中出现的次数。思路: 在排序数组当中查找用二分法,分别查找到数的起始位置和结束位置。时间复杂度是(logn)。public class Solution { public int GetNumberOfK(int []...
阅读(639) 评论(0)

Java中Comparable与Comparator的区别

在Java中Comparable和Comparator都是对集合进行排序的,都是通过返回-1、0、1来进行交换,但是两种方式有差别。Comparable:使用集合内部元素的排序方法(compareTo)进行排序,所以内部比较的元素要实现Comparable接口。 Comparator:使用外部Comparator对象的(compare方法)排序方式,所以集合需要实现Comparator接口的对象。...
阅读(444) 评论(1)

Hadoop2.0 Yarn框架原理及运作机制

1.1 YARN 基本架构 YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceManager负责整个系统的资源管理和分配,而ApplicationMaster负责单个应用程序的管理。 ...
阅读(1102) 评论(0)

servlet是单例和struts2的action多例的理解

1.struts2中action是多例的,即一个session产生一个action 如果是单例的话,若出现两个用户都修改一个对象的属性值,则会因为用户修改时间不同,两个用户访问得到的属性不一样,操作得出的结果不一样. 举个例子:有一块布长度300cm,能做一件上衣(用掉100cm)和一件裤子(用掉200cm);甲和乙同时访问得到的长度都是300cm, 甲想做上衣和裤子,他先截取100cm去做上...
阅读(3224) 评论(0)

字典数Trie树详解及其应用

一、知识简介         最近在看字符串算法了,其中字典树、AC自动机和后缀树的应用是最广泛的了,下面将会重点介绍下这几个算法的应用。       字典树(Trie)可以保存一些字符串->值的对应关系。基本上,它跟 Java 的 HashMap 功能相同,都是 key-value 映射,只不过 Trie 的 key 只能是字符串。   Trie 的强大之处就在于它的时间复杂度。它的插入和...
阅读(308) 评论(0)

【面试编程题】-9剑指offer之优化时间和空间效率

下面的例题来着剑指offer第5章的内容。很多公司的面试官都把代码的时间效率当做一个考叉重点。面试官除了考查应聘者的编程能力之外,还关注应聘者有没有不断优化效率、追求完美的态度和能力。 1.数组中出现次数超过一半的数字题目描述数组中有一个数字出现的次数超过数组长度的一半,请找出这个数字。例如输入一个长度为9的数组{1,2,3,2,2,2,5,4,2}。由于数字2在数组中出现了5次,超过数组长度的一半...
阅读(877) 评论(0)

大数据处理常用的数据结构

随着互联网的兴起,越来越多的内容被放到互联网中,从而导致海量数据处理受到更多人的重视,尤其是在百度、腾讯等这些涉及海量数据的公司。下面我们简单谈一下关于海量数据处理的一些常用数据结构。包括哈希、bitmap、Bloom filter、堆、mapreduce、trie树。 (1)哈希   对于哈希,相信大家都不会陌生。其基本原理不再说明,哈希的一个关键点是哈希函数的选择,如何使映射结果更加均衡及冲突...
阅读(2243) 评论(1)

Bloom Filter 布隆过滤算法学习

BloomFilter——大规模数据处理利器     Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合,但是并不严格要求100%正确的场合。   一. 实例    为了说明Bloom Filter存在的重要意义,举一个实例:   假设要你写一个网络蜘蛛(web crawler...
阅读(747) 评论(0)

JDK源码学习(1)-HashMap源码分析,HashMap与HashTable的差别

Hashtable是HashMap的线程安全版本,它的实现和HashMap实现基本一致,除了它不能包含null值的key和value,并且它在计算hash值和数组索引值的方式要稍微简单一些。 Hashtable线程安全实现方式是将所有方法都标记成synchronized,但这样加锁的粒度大,容易引起一些性能问题,所以目使用java.concurrent.ConcurrentHashMap类性能...
阅读(876) 评论(0)

【面试编程题】-8剑指offer之解决面试题的思路

下面的例题来着剑指offer第4章的,主要是告诉大家,做面试题的时候,怎么找到思路。 画图让抽象问题形象化 不少于数据结构相关的问题,如二叉树、二维数组、链表等问题,都可以采用画图的方式来分析,找到题目隐含的规律和特点。 1.二叉树的镜像 题目描述操作给定的二叉树,将其变换为源二叉树的镜像。输入描述:二叉树的镜像定义:源二叉树 8 / \...
阅读(1119) 评论(0)

UML类图的几种关系及类图的代码体现

在UML类图中,常见的有以下几种关系:泛化(Generalization),  实现(Realization),关联(Association),聚合(Aggregation),组合(Composition),依赖(Dependency)   1.泛化(Generalization) 【泛化关系】:是一种继承关系,它指定了子类如何特化父类的所有特征和行为例如:老虎是动物的一种. 【箭头指向】...
阅读(397) 评论(0)
126条 共7页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:270951次
    • 积分:3453
    • 等级:
    • 排名:第10699名
    • 原创:82篇
    • 转载:44篇
    • 译文:0篇
    • 评论:39条
    博客专栏
    最新评论