2015年08月_hust_sheng

原创 Spark-1.4.0单机部署（Hadoop-2.6.0采用伪分布式）【已测】

安装JDK 1.7+ 【下载网址】http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html环境变量设置（最好不要采用openjdk）：export JAVA_HOME=/usr/java/java-1.7.0_71export JRE_HOME=$JAVA_HOME/jreexport

2015-08-26 19:24:24 1153

原创 main函数执行前后《程序员的自我修养》·笔记

【前言】main函数执行前后的宏观过程（C++）linux系统下压板程序的入口是”_start”，这个函数是linux系统库（Glibc）的一部分，当我们的程序和Glibc链接在一起形成最终的可执行文件的之后，这个函数就是程序执行初始化的入口函数。程序初始化部分完成一系列初始化过程之后，会调用main函数来执行程序的主体。在main函数执行完成以后，再返回到初始化部分，进行一些清理工作，然后结束

2015-08-24 13:08:18 1330 1

原创内存、栈、堆的一点小总结《程序员的自我修养》·笔记

内存、栈、堆的一点小总结程序的内存布局【前言】在32位系统中，大家可能认为我们可以用一个32位的指针访问任意内存地址。如下： int *p = (int *)0x12345678; ++*p; 但事实上用户可以直接读取的内存大小是达不到4GB的。大多数操作系统都会将其中的一部分分配给内核使用，应用程序是无法直接访问这一段内存的，这部分被称为内核空间。Linux默认将高地址的1GB空间

2015-08-24 10:15:47 4142

原创动态链接的一点小总结《程序员的自我修养》·笔记

动态链接的一点小总结动态链接（相对于静态链接）的优势动态链接可以节省内存和磁盘空间。动态链接使得内存和磁盘中的编译完成的目标文件只保留一份，这样也可以减少物理页的换入换出，同时也可以增加CPU缓存的命中率。动态链接便于程序的更新、部署、发布；动态链接下，程序在运行期间可以动态地加载各种程序模块，也就是我们经常说的插件；动态链接可以加强程序的兼容性，程序和不同平台之间可以加入一个“中间层”，让

2015-08-22 16:32:01 2882 1

原创可执行文件的装载与进程的一点小总结《程序员的自我修养》·笔记

可执行文件的装载与进程小结进程的虚拟地址空间每个程序被运行起来之后都拥有自己独立的虚拟地址空间，这个虚拟地址空间的大小是CPU的位数决定的。比如，32位的硬件平台决定了虚拟地址空间的地址为（2^32-1），也就是我们常说的4GB虚拟内存的大小。需要注意的是，分配的4GB的虚拟空间并不是全部给进程的，比如，linux下1GB给操作系统，余下的3GB中基本上都分配给进程，但是3GB中的

2015-08-15 22:18:06 1388

原创静态链接的一点小总结（二）《程序员的自我修养》·笔记

静态链接的一点小总结（二）空间与地址分配问题引入可执行文件与目标文件的格式是类似的，所以，可以说可执行文件中的代码段和数据段都是由输入的目标文件中合并而来的。解决方法：按序叠加顾名思义，该方法就是将各个目标文件依次合并叠加问题合并的过程中，每个段都需要有一定的地址和空间的对齐要求，对于规模稍大的应用程序，对应的输出文件会有成百上千的段，很显然，这种做法很浪费空间

2015-08-14 11:52:49 660

翻译 Spark Shuffle过程的一些小结（译 Shuffle Performance in Apache Spark）

题目： Shuffle Performance in Apache Spark发表年份： February - 2015所在会议： International Journal of Engineering Research & Technology 作者： Nirali Rana Department of Computer Engineering GTU PG Scho

2015-08-13 12:41:44 1298

原创栈内存和堆内存的一点小结《程序员的自我修养》·笔记

栈内存和堆内存形象化的理解： Object obj = new Object(); 以上这句话,会把obj这个引用放进栈内存,再说白一点,就是这个对象的名字obj放进栈内存,栈内存运行速度较快,用于查找索引(也就是名字) 而new Object()会在堆内存中开辟一块空间给这个对象,对象几乎所有的属性啊,方法啊,全都在里面了,也就是对象的实体都在堆内存中,堆内存速度慢但是成本低,空间

2015-08-13 09:55:36 573

原创 extern 关键字的使用《程序员的自我修养》·笔记

extern “C”的小结来自《程序员的自我修养》C++为了与C兼容，C++可以使用关键字extern “C”来声明或者定义一个C符号： extern "C"{ int func(int); int var; } C++会将extern “C”的大括号内的代码当做C语言代码（.c文件）处理,亦即在大括号中C++的名称修饰机制将不起作用，不同的编译器有不同的名称修饰方

2015-08-12 22:28:26 420

原创目标文件、ELF文件的一点小总结《程序员的自我修养》·笔记

目标文件源代码编译后但是没有进行链接的那些中间文件，比如win下的.obj文件、linux下的.o文件，与可执行文件的内容以及格式很类似。目标文件中的内容至少有编译后的机器指令代码、数据。还包括连接时所需要的一些信息，比如符号表、调试信息、字符串等。一般，目标文件会将这些信息按照不同的属性进行分段（其实就是多个一定长度的区域）。下面主要对linux下的可执行文件的ELF格式进行分析ELF文件的

2015-08-12 21:31:04 1310

原创静态链接的一点小总结（一）《程序员的自我修养》·笔记

静态链接的引入编译过程生成目标代码之后，定义其他模块的全局变量和函数在最终运行时的绝对地址要在最终链接的时候才能确定。所以现在的编译器将源代码文件编译成为一个未链接的目标文件，之后由链接器将这些目标文件链接起来形成可执行文件。c/c++模块之间的通信有两种方式，一种是模块间的函数调用，另一种是模块间的变量访问。这两种方式可以亏结尾一种方式，那就是模块之间符号的引用。模块之间依靠符号来进行通信，就

2015-08-11 21:03:07 608

原创内核线程与用户线程的一点总结《程序员的自我修养》·笔记

前言linux内核不存在整真正意义上的线程。linux将所有的执行实体都称之为任务（task），每一个任务在干年上都类似于一个单线程的进程，具有内存空间、执行实体、文件资源等。但是，linux下不同任务之间可以选择公用内存空间，因而在实际意义上，共享同一个内存空间的多个任务构成了一个进程，而这些任务就成为这个任务里面的线程。内核线程内线程又称为守护进程，Linux内核使用内核线程来将内核分成几

2015-08-11 11:33:50 1158

原创 checkpoint的应用总结

数据库中的checkpoint机制：一般所说的checkpoint是一个数据库事件(event)，checkpoint事件由checkpoint进程发出，当checkpoint事件发生时DBWn会将脏块写入到磁盘中，同时数据文件和控制文件的文件头也会被更新以记录checkpoint信息。在数据库系统中，写日志和写数据文件是数据库中IO消耗最大的两种操作，

2015-08-07 16:39:56 1492

转载内存映像文件简介

内存映像文件几乎每个应用程序都要和文件打交道。比如，应用程序有时需要打开、读取、再关闭文件；而有时需要打开文件，将数据读到一个缓冲区再写回到文件中另一个位置。通常实现起来都显得有点繁琐。Microsoft Windows提供了满足这两方面要求的最佳解决途径：内存映像文件。像使用虚拟内存一样，使用内存映像文件同样需要经过保留和提交两个过程，首先在进程内存空间保留一块区域

2015-08-07 10:32:41 3486

转载栈内存和堆内存

形象化的理解：Object obj = new Object();以上这句话,会把obj这个引用放进栈内存,再说白一点,就是这个对象的名字obj放进栈内存,栈内存运行速度较快,用于查找索引(也就是名字) 而new Object()会在堆内存中开辟一块空间给这个对象,对象几乎所有的属性啊,方法啊,全都在里面了,也就是对象的实体都在堆内存中,堆内存速度慢但是成本低,空间较大,用以存放程序

2015-08-06 09:25:26 554

hust_sheng的专栏