- 博客(81)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Java中获取set和get方法
import java.beans.PropertyDescriptor;import java.lang.reflect.Field;import java.lang.reflect.Method;public class ReflectTest { public static void main(String[] args) throws Exception {
2014-10-31 19:31:16
839
原创 Java中的URL与FILE相互转化
首先，想比较一下这两者的不同。URL用于网络，所以带有明显的protocol，而且对于中文及符号支持的很不好。File就是我们平常系统中的文件路径了，对于中文及符号都支持，但是已经没有protocol了。所以，虽然两者都可以表示文件路径，但是却不能混用了。典型的URL和File路径的比较：URL：file:/D:/my%20java/URL&FILE/%e5%9b%be%e7%89%87/
2014-10-31 13:02:21
2094
原创 malloc对应的汇编语句
#include int main(){0132B350 push ebp 0132B351 mov ebp,esp 0132B353 sub esp,0CCh 0132B359 push ebx 0132B35A push esi 0132B35B push edi
2014-10-30 16:54:09
2472
原创 程序运行时的缺页异常是怎么发生和捕获的
现代的cpu一般有一个描述表寄存器gdtr，指向一个描述表，描述表项就是程序运行状态参数，包括内存位置这些信息都在里面。操作系统一般是写表项，注册例外处理例程。你程序访问越界，cpu就执行操作系统例外，这时操作系统就有了机会来执行处理代码。一般是给你抛一个例外，产生一个core，你这样拿着这个core来重现程序状态。没什么东西可以看，看了也没什么意思，理解这么回事就可以。
2014-10-30 16:42:42
1139
转载 NIO不错的
欢迎大家讨论，我也是接触时间不长，有问题欢迎大家指正。欢迎转载，转载请注明出处楔子最近在研究JAVA NIO的相关知识，发现网上多是三种类型的研究文章，一是单Reactor单Selector，二是主从Reactor单Selector，三就是无Reactor单Selector，有一篇是一个Selector绑定两个地址的文章。但是随着链接数增多，单Selector肯定不能满足对于系统性
2014-10-29 10:34:55
484
转载 spark中shuffle的过程------不看你后悔
Spark大会上，所有的演讲嘉宾都认为shuffle是最影响性能的地方，但是又无可奈何。之前去百度面试hadoop的时候，也被问到了这个问题，直接回答了不知道。这篇文章主要是沿着下面几个问题来开展：1、shuffle过程的划分？2、shuffle的中间结果如何存储？3、shuffle的数据如何拉取过来？Shuffle过程的划分Spark的操作模型是基
2014-10-29 09:37:02
7275
2
原创 spark源码研究---作业提交
DAG： private[scheduler] def handleJobSubmitted(jobId: Int, finalRDD: RDD[_], func: (TaskContext, Iterator[_]) => _, partitions: Array[Int], allowLocal: Boolean, callSit
2014-10-28 22:21:45
1135
转载 spark作业的生命周期-------就是这个意思
这一章我们探索了Spark作业的运行过程，但是没把整个过程描绘出来，好，跟着我走吧，let you know！我们先回顾一下这个图，Driver Program是我们写的那个程序，它的核心是SparkContext，回想一下，从api的使用角度，RDD都必须通过它来获得。下面讲一讲它所不为认知的一面，它和其它组件是如何交互的。Driver向Maste
2014-10-27 20:47:57
1097
原创 binder机制详解
很全：亲，耐心看完会有收获的1.Binder通信机制介绍这篇文章会先对比Binder机制与Linux的通信机制的差别，了解为什么Android会另起炉灶，采用Binder。接着，会根据Binder的机制，去理解什么是Service Manager，在C/S模型中扮演什么角色。最后，会从一次完整的通信活动中，去理解Binder通信的过程。1.1 Android与Linux
2014-10-26 09:24:21
3228
原创 一张图让你了解Storm的DRPC实现原理
参照上图构建DRPC拓补图的拓补构造器：package backtype.storm.drpc;import backtype.storm.Constants;import backtype.storm.ILocalDRPC;import backtype.storm.coordination.BatchBoltExecutor;import backtype.storm.coo
2014-10-25 17:44:38
3513
原创 storm的架构图
整体架构 客户端提交拓扑到nimbus。Nimbus针对该拓扑建立本地的目录根据topology的配置计算task，分配task，在zookeeper上建立assignments节点存储task和supervisor机器节点中woker的对应关系；在zookeeper上创建taskbeats节点来监控task的心跳；启动topology。S
2014-10-25 07:49:50
950
转载 使用busybox开发一个baseimage
#!/usr/bin/env bash # Generate a very minimal filesystem based on busybox-static, # and load it into the local docker under the name "busybox". echo >&2
2014-10-25 06:23:49
734
转载 Intent匹配规则以及解析框架深入分析
本文原创 ，转载必须注明出处 :http://blog.csdn.net/qinjuning 前言： 本文博客是公司培训之间的PPT整理而成，在此把相关的细节发布出来，希望对大家能有所帮助。 关于Intent以及IntentFilter的基本知识，大家可以参阅如下资料，
2014-10-23 22:59:22
609
转载 Android中View绘制流程以及invalidate()等相关方法分析
整个View树的绘图流程是在ViewRoot.java类的performTraversals()函数展开的，该函数做的执行过程可简单概况为 根据之前设置的状态，判断是否需要重新计算视图大小(measure)、是否重新需要安置视图的位置(layout)、以及是否需要重绘 (draw)，其框架过程如下：
2014-10-23 22:53:33
403
转载 Android中滑屏初探 ---- scrollTo 以及 scrollBy方法使用说明
本文原创 ，转载必须注明出处 :http://blog.csdn.net/qinjuning 今天给大家介绍下Android中滑屏功能的一个基本实现过程以及原理初探，最后给大家重点讲解View视图中scrollTo 与 scrollBy这两个函数的区别 。
2014-10-23 22:49:13
383
转载 Android中ActivityManagerService与应用程序(客户端)通信模型分析
本文原创 ，转载必须注明出处 :http://blog.csdn.net/qinjuning 今天主要分析下ActivityManagerService(服务端) 与应用程序(客户端)之间的通信模型，在介绍这个通信模型的基础上，再 简单介绍实现这个模型所需要数据类型。 本文所介绍内容基于andro
2014-10-23 22:46:47
494
原创 Android中启动Activity(startActivity)流程图分析
本文原创 ，转载必须注明出处 :http://blog.csdn.net/qinjuning 在上篇博文 Android中ActivityManagerService与应用程序(客户端)通信模型分析>中，我们从宏观架构上掌握 ActivityManagerService与应用程序通信的基本模型，今天继续给大家分析下startAct
2014-10-23 22:40:53
563
转载 Android中Context详解 ---- 你所不知道的Context
这哥们确实xiede本文原创 ，转载必须注明出处 :http://blog.csdn.net/qinjuning 前言：本文是我读《Android内核剖析》第7章 后形成的读书笔记 ，在此向欲了解Android框架的书籍推荐此书。 大家好， 今天给大家介绍下我们在应用开发中最熟悉而陌
2014-10-23 22:39:50
387
转载 Android中将布局文件/View添加至窗口过程分析 ---- 从setContentView()谈起（写的很好，这个不是从启动app说的，说的是UI是怎么绘制的）
本文主要内容是讲解一个视图View或者一个ViewGroup对象是如何添加至应用程序窗口中的。 下文中提到的窗口可泛指我们能看到的界面，包括一个Activity呈现的界面(我们可以将之理解为应用程序窗口)，一个Dialog， 一个Toast，一个Menu菜单等。 首先对相关类的作用进行一下简单介绍：
2014-10-23 19:53:01
682
转载 spark任务模型
概述一个Spark的Job分为多个stage，最后一个stage会包括一个或多个ResultTask，前面的stages会包括一个或多个ShuffleMapTasks。ResultTask执行并将结果返回给driver application。ShuffleMapTask将task的output根据task的partition分离到多个buckets里。一个Shuf
2014-10-22 19:38:23
651
转载 spark中的SQL
功能Spark新发布的Spark SQL组件让Spark对SQL有了别样于Shark基于Hive的支持。参考官方手册，具体分三部分：其一，能在Scala代码里写SQL，支持简单的SQL语法检查，能把RDD指定为Table存储起来。此外支持部分SQL语法的DSL。其二，支持Parquet文件的读写，且保留Schema。其三，能在Scala代码里访问Hive元数据，能执
2014-10-22 19:36:41
743
转载 RDD
RDDRDD初始参数：上下文和一组依赖abstract class RDD[T: ClassTag]( @transient private var sc: SparkContext, @transient private var deps: Seq[Dependency[_]] ) extends Serializable以下需要仔细理清：A li
2014-10-22 19:29:41
807
转载 sched.h（task_struct）结构体
#ifndef _SCHED_H#define _SCHED_H#define NR_TASKS 64 // 系统中同时最多任务（进程）数。#define HZ 100 // 定义系统时钟滴答频率(1 百赫兹，每个滴答10ms)#define FIRST_TASK task[0] // 任务0 比较特殊，所以特意给它单独定义一个符号。#defi
2014-10-22 16:10:29
1705
转载 linux中的fork函数到底做了什么事
前面已经谈了内核加载与系统引导过程，下面我们来看看内核的 do_fork() 函数是如何创建一个新的进程的。在 Linux 内核中,供用户创建进程的系统调用fork()函数的响应函数是 sys_fork()、sys_clone()、sys_vfork()。这三个函数都是通过调用内核函数 do_fork() 来实现的。根据调用时所使用的 clone_flags 参数不同，do_for
2014-10-22 13:58:49
1056
转载 docker使用技术原理（截取这百度百科）
Docker 是 PaaS 提供商 dotCloud 开源的一个基于 LXC 的高级容器引擎，源代码托管在 Github 上, 基于go语言并遵从Apache2.0协议开源。Docker自2013年以来非常火热，无论是从 github 上的代码活跃度，还是Redhat在RHEL6.5中集成对Docker的支持, 就连 Google 的 Compute Engine 也支持 docker 在
2014-10-21 10:37:30
1607
转载 从主机复制文件到Docker的几种方法
今天我们来讲解一下从主机复制文件到Docker的几种方法.在分享之前, 我们看看Docker社区对这个问题的需求是有多么强(ju)烈(jin).下面开始今天高(tu)大(yuan)上(fei)的分享.1. 通过Build Docker Image添加文件Docker Image是通过Dockerfile来创建的. 具体的创建过程可以参考这里.我们可以在编写D
2014-10-21 10:33:26
4833
转载 yarn中的wordcount
hadoop hdfs yarn伪分布式运行，有如下进程1320 DataNode1665 ResourceManager1771 NodeManager1195 NameNode1487 SecondaryNameNode 写一个mapreduce示例，在yarn上跑，wordcount数单词示例代码在github上：https://github.com
2014-10-20 20:38:36
849
转载 spark中job的流程分析（未看）
spark 启动job的流程分析从WordCount开始分析编写一个例子程序编写一个从HDFS中读取并计算wordcount的例子程序:packageorg.apache.spark.examplesimportorg.apache.spark.SparkContextimportorg.apache.spark.SparkConte
2014-10-20 20:31:38
994
转载 Spark源码分析之-scheduler模块
BackgroundSpark在资源管理和调度方式上采用了类似于Hadoop YARN的方式，最上层是资源调度器，它负责分配资源和调度注册到Spark中的所有应用，Spark选用Mesos或是YARN等作为其资源调度框架。在每一个应用内部，Spark又实现了任务调度器，负责任务的调度和协调，类似于MapReduce。本质上，外层的资源调度和内层的任务调度相互独立，各司其职。本文对于Spar
2014-10-20 18:41:03
759
转载 MMU和cache学习
1. MMUMMU：memory management unit，称为内存管理单元，或者是存储器管理单元，MMU是硬件设备，它被保存在主存(main memory)的两级也表控制，并且是由协处理器CP15的寄存器1的M位来决定是enabled还是disabled。MMU的主要作用是负责从CPU内核发出的虚拟地址到物理地址的映射，并提供硬件机制的内存访问权限检查。MMU使得每个用户进程
2014-10-20 12:58:20
558
1
转载 程序编译后运行时的内存分配
一、编译时与运行时的内存情况1.编译时不分配内存编译时是不分配内存的。此时只是根据声明时的类型进行占位，到以后程序执行时分配内存才会正确。所以声明是给编译器看的，聪明的编译器能根据声明帮你识别错误。2.运行时必分配内存运行时程序是必须调到“内存”的。因为CPU（其中有多个寄存器）只与内存打交道的。程序在进入实际内存之前要首先分配物理内存。3.编译过程只能简单说一下，因为
2014-10-20 12:33:51
682
转载 虚拟内存的分段与分页实现
关于内存管理（虚拟内存的分段与分页实现），Intel Pentium完成哪些功能，Windows/Unix OS完成哪些功能？修改《现代操作系统》在介绍内存管理的分段与分页结合时，介绍了分段和分页结合Intel Pentium的例子，那么处理器和操作系统在内存管理方面的配合和分工是怎样的？修改举报添加评论 分享 • 邀请回答按票数排序按时间排序
2014-10-20 08:55:15
1336
转载 Please ensure that adb is correctly located at……问题解决方案
遇到问题描述：运行android程序控制台输出 [2013-10-13 16:45:50 - ] The connection to adb is down, and a severe error has occured. [2013-10-1316:45:50 - ] You must restart adb and Eclipse. [2013-10-
2014-10-19 21:37:53
562
转载 android动态加载apk
Android之Android apk动态加载机制的研究转载请注明出处：http://blog.csdn.net/singwhatiwanna/article/details/22597587 （来自singwhatiwanna的csdn博客）背景问题是这样的：我们知道，apk必须安装才能运行，如果不安装要是也能运行该多好啊，事实上，这不是完全不可能的，尽管它比较难实现。在理论层面
2014-10-19 11:47:09
614
转载 ActivityManager的作用
ActivityManager在操作系统中有重要的作用，本文利用操作系统源码，逐步理清ActivityManager的框架，并从静态类结构图和动态序列图两个角度分别进行剖析，从而帮助开发人员加强对系统框架及进程通信机制的理解。ActivityManager的作用参照SDK的说明，可见ActivityManager的功能是与系统中所有运行着的Activity交互提供了接口，主要的接口围绕着运
2014-10-15 16:36:58
952
原创 android中的binder机制（不是说代码，说说实现的原理，你不得错过）
binder分为几个部分：client，service，servicemanager，driver，
2014-10-15 12:34:22
787
转载 hadoop的jvm重用
1 先让我们分析task在hadoop中Tasktracker的运行过程：我们知道每个job都是分割成多个task(由map task和reduce task组成)来完成的,而每个task又是由TaskLauncher(即:mapLauncher和reduceLauncher)来完成分配slot和开启task的运行(startNewTask),同时会创建相应的TaskInProgress,
2014-10-13 14:27:18
2240
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人