Webkit模块介绍

一、Webkit模块

用到的第三方库如下：

cairo	一个2D绘图库
casqt	Unicode处理用的库，从QT中抽取部分代码形成的
expat	一个XML SAX解析器的库
freetype	矢量字库接口库，用于存取ttf矢量字体文件
libcurl	一个开源的url库，支持HTTP、FTP等协议
Libjpeg,libpng	图像解码库
libxml	基于DOM树的XML解析器
libxslt	XML transform engine
pthread	Pthread库， port of the POSIX thread library
sqlite3	一个小型的数据库，据称在型入式平台是存取速度最快的数据库。 开源， 编译后就一个400K的 sqlite.dll。 移植非常方便，纯C写的。
wceshunt	一个用于Windows CE平台下的C常用函数封装库
Zlib	Zlib库。用于解压缩。

 

 

2.       Webkit 源代码由三大模块组成：

1). WebCore，

2). WebKit，

3). JavaScriptCore。

WebCore：排版引擎核心，WebCore包含主要以下模块：Loader, Parser(DOM,Render), Layout,Paint。

WebKit：移植层，主要包含： GUI，File System, Thread，Text，图片编解码等与平台相关的函数。

JavaScriptCore：JS虚拟机，相对独立，主要用于操作DOM， DOM是W3C定义的规范，主要用于定义外部可以操作的浏览器内核的接口，而webcore必须实现DOM规范。

(具体的DOM规范可以查w3c.)

3.       WebKit分模块介绍(这里简单列出，后面再具体介绍)

Webkit平台相关

1)       CURL网络库

2)       libPng, LibJpeg图形处理相关

3)       sqlite小型关系数据库

WebCore核心

1)       Loader加载资源及Cache 实现(Curl)

2)       DOM : HTML词法分析与语法分析

3)       DOM : DOM节点与Render节点创建，形成DOM树

4)       Render：Render树介绍，RenderBox

5)       Layout：排版介绍

6)       Css Parser模块

7)       Binding-DOM与JavascriptCore绑定的功能

JavascriptCore-javascript引擎

1)       API-基本javascript功能

2)       Binding与其它功能绑定的功能,如:DOM,C,JNI

3)       DerviedSource自动产生的代码

4)       PCRE-Perl-Compatible Regular Expressions 

5)       KJS-Javascript Kernel

4. 页面的整个处理流程—(简单介绍，详细流程在后面笔记中)

1). 用户输入网址后，FrameLoader::load函数会接收到URL。

　　　2). 把URL 请求传给CURL库。

　　　3). CURL发出http请求，得到数据后，传给Loader，开始解析。

　　　4). 通过Dom Builder按W3C的html规范生成Dom树

　　　5). 如果有javascript，JSEngine就通过ECMA-262标准完善Dom树

　　　6). 在生成DOM树的同时， 同步生成Render树。

　　　7). 解析完后， 调用Layout排版

　　　8). Paint出来

二、libCurl库介绍

前面有说道webkit仅仅是一个页面排版的引擎，所以，对webkit来说，网页数据（html文件，图片，.css,.js文件）的请求与接收都是通过第三方的库：libCurl来处理。

打开webkit开发工程(.sln)即可以看到，libcurl可以被静态或动态链接到主工程中。

Libcurl就是指的curl,只是在webkit工程中，不作为单独的进程存在，而是被编译成动态库。

 webkit主要用到curl的以下功能：

1)       Http协议。包含：Get, put, Post, Cookie管理。

2)       https协议。

3)       本地文件缓存。(前进，后退管理)

Webkit具体调用了哪些curl接口，详见后面Loader模块介绍章节。这里简单列举：

1)           curl_global_init(CURL_GLOBAL_ALL);

2)           curl_multi_init()

3)           curl_share_init()

4)           curl_share_setopt()

5)           curl_easy_getinfo()

6)           curl_multi_fdset()

7)           curl_multi_perform()

8)           curl_multi_info_read()

9)           curl_multi_cleanup()

10)       curl_share_cleanup()

11)       curl_global_cleanup();    

可以看到，由于webkit要支持同时请求多个http数据，所以用到的是curl的multi接口。

在介绍Loader之前，先介绍一下libcurl，打下基础。

以下附一篇libcurl的介绍：

一、     概念

1.         为什么要使用libcurl

1)        作为http的客户端，可以直接用socket连接服务器，然后对到的数据进行http解析，但要分析协议头，实现代理…这样太麻烦了。

2)        libcurl是一个开源的客户端url传输库，支持FTP，FTPS，TFTP，HTTP，HTTPS，GOPHER，TELNET，DICT，FILE和LDAP，支持Windows，Unix，Linux等平台，简单易用，且库文件占用空间不到200K

2.         get和post方式

客户端在http连接时向服务提交数据的方式分为get和post两种

1)        Get方式将所要传输的数据附在网址后面，然后一起送达服务器，它的优点是效率比较高；缺点是安全性差、数据不超过1024个字符、必须是7位的ASCII编码；查询时经常用此方法。

2)        Post通过Http post处理发送数据，它的优点是安全性较强、支持数据量大、支持字符多；缺点是效率相对低；编辑修改时多使用此方法。

3.         cookie与session

1)        cookie

cookie是发送到客户浏览器的文本串句柄，并保存在客户机硬盘上，可以用来在某个Web站点会话之间持久地保持数据。cookie在客户端。

2)        session

session是访问者从到达某个特定主页到离开为止的那段时间。每一访问者都会单独获得一个session，实现站点多个用户之间在所有页面中共享信息。session在服务器上。

3)        libcurl中使用cookie

保存cookie, 使之后的链接与此链接使用相同的cookie

a)         在关闭链接的时候把cookie写入指定的文件

curl_easy_setopt(curl, CURLOPT_COOKIEJAR, "/tmp/cookie.txt");

b)        取用现在有的cookie，而不重新得到cookie

curl_easy_setopt(curl, CURLOPT_COOKIEFILE, "/tmp/cookie.txt");

b)        http与https的区别

1)        Http是明文发送，任何人都可以拦截并读取内容

2)        Https是加密传输协议，用它传输的内容都是加密过的，https是http的扩展，其安全基础是SSL协议

c)        base64编码

1)        为什么要使用base64编码

如果要传一段包含特殊字符比较多的数据，直接上传就需要处理转意符之类的很多问题，用base64编码，它可以把数据转成可读的字串，base64由a-z, A-Z, +/总计64个字符组成。

2)        传送base64编码的注意事项

由于base64的组成部分有加号，而加号是url中的转意字符，所以无论是get方式还是post，传到服务器的过程中，都会把加号转成空格，所以在传base64之前需要把base64编码后的加号替换成”%2B”，这样就可以正常发送了。

二、  例程

d)        代码

#include <stdio.h>

#include <curl/curl.h>

bool getUrl(char *filename)

{

    CURL *curl;

    CURLcode res;

    FILE *fp;

    if ((fp = fopen(filename, "w")) == NULL)  // 返回结果用文件存储

         return false;

    struct curl_slist *headers = NULL;

    headers = curl_slist_append(headers, "Accept: Agent-007");

    curl = curl_easy_init();    // 初始化

    if (curl)

    {

         curl_easy_setopt(curl, CURLOPT_PROXY, "10.99.60.201:8080");// 代理

         curl_easy_setopt(curl, CURLOPT_HTTPHEADER, headers);// 改协议头

         curl_easy_setopt(curl, CURLOPT_URL,   "http://www.google.com/search?hl=en&q=xieyan0811&btnG=Google+Search&aq=f&oq=xieyan081");

         curl_easy_setopt(curl, CURLOPT_WRITEDATA, fp);

         res = curl_easy_perform(curl);   // 执行

         curl_slist_free_all(headers);

         curl_easy_cleanup(curl);

    }

    fclose(fp);

    return true;

}

bool postUrl(char *filename)

{

    CURL *curl;

    CURLcode res;

    FILE *fp;

    if ((fp = fopen(filename, "w")) == NULL)

         return false;

    curl = curl_easy_init();

    if (curl)

    {

         curl_easy_setopt(curl, CURLOPT_COOKIEFILE, "/tmp/cookie.txt"); // 指定cookie文件

         // curl_easy_setopt(curl, CURLOPT_COOKIEJAR, "/tmp/cookie.txt");

         curl_easy_setopt(curl, CURLOPT_POSTFIELDS, "&logintype=uid&u=xieyan&psw=xxx86");    // 指定post内容

         curl_easy_setopt(curl, CURLOPT_PROXY, "10.99.60.201:8080");

         curl_easy_setopt(curl, CURLOPT_URL, "http://mail.sina.com.cn/cgi-bin/login.cgi");   // 指定url

         curl_easy_setopt(curl, CURLOPT_WRITEDATA, fp);

         res = curl_easy_perform(curl);

         curl_easy_cleanup(curl);

    }

    fclose(fp);

    return true;

}

int main(void)

{

    getUrl("/tmp/get.html");

    postUrl("/tmp/post.html");

}

e)         编译

g++ main.cpp -o main -lcurl

三、Loader模块介绍

前面说过， webkit只是一个排版引擎，在Webkit排版/渲染一个网页之前， 它肯定需要从网络上、或者本地文件系统中读到网页的http数据，对吧，对webkit来讲，他要的就是数据，不管你是从网络读的还是本地文件读的。

Loader就是这样一个模块，它承上启下，不仅负责为webkit引擎提供数据，还控制着webkit的绘制。另外，它同时还与提供数据的“来源”打交道。

先简单举例说明：

  用户输入一个url，这时是Loader接收url请求，它把url传递给curl，设置curl的回调函数，当curl读到数据，loader把数据传递给Parser，开始生成DOM。

一．下面重点介绍一下与Loader相关的数据结构和模块。

Frame：可以看做是浏览器外壳调用Loader的总入口，它就像我们印象中的一个网页，它关注的是页面的显示 (FrameView) 、页面数据的加载(FrameLoader) 、页面内的各种控制器 (Editor, EventHandler, ScriptController, etc.) 等等，它包含以下模块（只列出重点）：

Document

Page

FrameView

RenderView

FrameLoader

DOMWindow

 

下面分别介绍(PS: 必须要了解这些概念，不然后面的东东都无法理解):

1)Document:这个类的爷爷类是 Node ，它是 DOM 树各元素的基类； Document 有个子类是 HTMLDocument ，它是整个文档 DOM 树的根结点，这样就明白了：原来 Document 就是描述具体文档的代码，看一下它的头文件，就更明白了，它的属性与方法就是围绕着各种各样的结点： Text， Comment ， CDATASection ， Element……

2)Page: 我的理解是，Page与webview外部接口相关, page与frame是一对多的关系,同时Frame与FrameView是一一对应的，Frameview关注UI，Page关注数据与接口。现在的浏览器一般都提供同时打开多个窗口，每一个窗口对应的数据就是这个Page在管理了。

  在 page.cpp 文件里，还有个重要的全局指针变量： static HashSet<Page*>* allPages; 这个变量包含了所有的page 实例。

3)FrameView: 可以理解为为一个网页的ViewPort, 它提供一个显示区域，同时包含的有Render根节点、layout排版相关接口、Scroll相关等。FrameView是Layout排版的总入口。

4)RenderView: 与FrameView差不多，只是分工不同，它管理与Render树相关的东东。

5) FrameLoader：重点，FrameLoader类将Documents加载到Frames。当点击一个链接时，FrameLoader创建一个新的处于“policy”状态的DocumentLoader对象，一旦webkit指示FrameLoader将本次加载视为一个导航(navigation)，FrameLoader就推动DocumentLoader进入“provisional”状态，（在该状态，DocumentLoader发调用CURL发起一个网络请求，并等待是html还是下载文件。）同时, DocumentLoader会创建一个MainResourceLoader对象（该对象在后面单独介绍）。

6）。DOMWindow: 实现了Dom的一些接口，如CreateNode等。后面可以详细讲讲。

上面介绍的概念比较多，我也不晓得好不好理解，没理解也不怕，多去看看代码，这是必须的。

二、Webkit的Loader有两条加载数据的主线

1. MainResourceLoader： 该模块主要加载主网页请求。后面称为MainResource。

2. DocLoader： 该模块除了主网页外的所有子请求，如:.js文件，图片资源，.css文件。  后面称为SubResource。

MainResource部分：

FrameLoader->DocumentLoader->MainResourceLoader-ResourceHandle DocumentLoader经历状态：1)"policy" 2) "provisional" 3) "commited"分别是等待、作为navigation发送network request、文件下载完毕

Subresource部分：

DocLoader->Cache->[CacheObjects]  CacheImage->SubresourceLoader->ResourceHandle 。当请求一个资源时，首先查看Cache中是否存在该对象，如果存在直接返回；如果不存在，创建该Cache对象（如CacheImage），然后创建一个SubresourceLoader，加载资源。

举例说明：

  加载图片时， DocLoader首先询问Cache, 在内存中是否也存在（CachedImage对象），如果已存在，则直接加载，即省了时间又省了流量。如果图片不在Cache中，Cache首先创建一个新的CachedImage对象来代表该图片，然后由CachedImage对象调用Loader对象发起一个网络请求，Loader对象创建SubResourceLoader。后面的流程就一样了，SubResourceLoader也是直接把ResourceHandle打交道的。

接下来跟踪一下Loader发送请求的代码实现：

1. 用户输入URL后，最先调用的接口是：

FrameLoader::load(const ResourceRequest& request)

ResourceRequest包含了：

KURL(处理url的一个类)、setHTTPHeaderField、setHTTPContentType等与HTTP头部相关的函数

2. Load()通过ResourceRequest数据调用createDocumentLoader(request, substituteData)来创建一个DocumentLoader。

3.Load()函数继续给request设置HttpAccept, Cache-Control HTTP头等信息。

4. 设置FrameLoader::checkNavigationPolicy函数进入"Policy"状态。

5.判断该url是否在Cache中等一系列状态判断后，进入DocumentLoader::startLoadingMainResource函数准备加载MainResource。该函数首先会创建调用MainResourceLoader。

6.进入MainResourceLoader::load函数，调用illSendRequest(r, ResourceResponse());做发送请求前的准备。

7.调用PolicyCheck检查policy的状态后，进入 FrameLoader::callContinueLoadAfterNavigationPolicy继续往下走。

8:在MainResourceLoader::loadNow(ResourceRequest& r)函数里创建ResourceHandle,在创建ResourceHandle函数中，调用start函数，start函数把ResourceHandle自已添加到ResourceHandleManager的m_resourceHandleList队列里。

  同时，调用m_downloadTimer.startOneShot激活网页请求下载的定时器。(这是个毫秒级的定时器，采用定时器的原因也是为了实现异步的请法)

  可以看到m_downloadTimer的定义： Timer<ResourceHandleManager> m_downloadTimer;

  m_downloadTimer是实现的一个定时器模块类，在它的构造函数里已经传入了回调函数的地址：ResourceHandleManager::downloadTimerCallback。

9. 一路返回到Load()函数，并返回到调用源，函数执行完毕。

10.  ResourceHandleManager::downloadTimerCallback回调函数被定时器调用。

11. 可以看到downloadTimerCallback函数的代码：

         调用libcurl库的接口curl_multi_fdset, curl_multi_perform等查询数据。

webkit应用场景再举例：

用户给出一个 URL （直接输入或者点击链接或者 JavaScript 解析等方式）。然后浏览器外壳调用 FrameLoader 来装载页面。 FrameLoader 首先检查一些条件 (policyCheck()) ，如 URL 是否非空、 URL 是否可达，用户是否取消等等。然后通过 DocumentLoader 启动一个 MainResourceLoader来装载页面。MainResourceLoader 调用 network 模块中的接口来下载页面内容（ ResourceHandle ），实际上这里的Resourcehandle 已经是平台相关的内容了，接收到数据以后，会有回调函数，告诉MainResourceLoader 数据已经接收到了。然后一路返回到 FrameLoader 开始调用HTMLTokenizer 解析 HTML 文本。解析过程中，如果遇到 Javascript 脚本的话，也会调用 Javascript 引擎（ Webkit 中的 JavascriptCore ， chrome 中的 V8 ）来解析。数据被解析完了以后，生成了一个一个的 node ，生成 DOM 树和 Render 树，然后通过 FrameLoaderClient 调用外部的壳把内容显示出来。”

Loader 是在WebKit 里面一个很重要的连接器，通过loader 发起IO下载网页,图片等数据，再通过loader发起解析，以及最后的渲染功能。