arch linux arm下载_「正点原子Linux连载」第三十六章Linux内核启动流程

1)实验平台：正点原子Linux开发板

2)摘自《正点原子I.MX6U嵌入式Linux驱动开发指南》

关注官方微信号公众号，获取更多资料：正点原子

看完Linux内核的顶层Makefile以后再来看Linux内核的大致启动流程，Linux内核的启动流程要比uboot复杂的多，涉及到的内容也更多，因此本章我们就大致的了解一下Linux内核的启动流程。

36.1 链接脚本vmlinux.lds

要分析Linux启动流程，同样需要先编译一下Linux源码，因为有很多文件是需要编译才会生成的。首先分析Linux内核的连接脚本文件arch/arm/kernel/vmlinux.lds，通过链接脚本可以找到Linux内核的第一行程序是从哪里执行的。vmlinux.lds中有如下代码：

示例代码36.1.1 vmlinux.lds链接脚本

492 OUTPUT_ARCH(arm)

493 ENTRY(stext)

494 jiffies = jiffies_64;

495 SECTIONS

496{

497/*

498 * XXX: The linker does not define how output sections are

499 * assigned to input sections when there are multiple statements

500 * matching the same input section name. There is no documented

501 * order of matching.

502 *

503 * unwind exit sections must be discarded before the rest of the

504 * unwind sections get included.

505 */

506 /DISCARD/:{

507 *(.ARM.exidx.exit.text)

508 *(.ARM.extab.exit.text)

509

......

645}

第493行的ENTRY指明了了Linux内核入口，入口为stext，stext定义在文件arch/arm/kernel/head.S中，因此要分析Linux内核的启动流程，就得先从文件arch/arm/kernel/head.S的stext处开始分析。

36.2 Linux内核启动流程分析

36.2.1 Linux内核入口stext

stext是Linux内核的入口地址，在文件arch/arm/kernel/head.S中有如下所示提示内容：

示例代码36.2.1.1 arch/arm/kernel/head.S代码段

/*

* Kernel startup entry point.

* ---------------------------

*

* This is normally called from the decompressor code. The requirements

* are: MMU = off, D-cache = off, I-cache = dont care, r0 = 0,

* r1 = machine nr, r2 = atags or dtb pointer.

.....

*/

根据示例代码36.2.1.1中的注释，Linux内核启动之前要求如下：

①、关闭MMU。

②、关闭D-cache。

③、I-Cache无所谓。

④、r0=0。

⑤、r1=machinenr(也就是机器ID)。

⑥、r2=atags或者设备树(dtb)首地址。

Linux内核的入口点stext其实相当于内核的入口函数，stext函数内容如下：

示例代码36.2.1.2 arch/arm/kernel/head.S代码段

80 ENTRY(stext)

......

91 @ ensure svc mode and all interrupts masked

92 safe_svcmode_maskall r9

93

94 mrc p15,0, r9, c0, c0 @ get processor id

95 bl __lookup_processor_type @ r5=procinfo r9=cpuid

96 movs r10, r5 @ invalid processor (r5=0)?

97 THUMB( it eq ) @ force fixup-able long branch encoding

98 beq __error_p @ yes, error 'p'

99

......

107

108 #ifndef CONFIG_XIP_KERNEL

......

113 #else

114 ldr r8,=PLAT_PHYS_OFFSET @ always constant in this case

115 #endif

116

117/*

118 * r1 = machine no, r2 = atags or dtb,

119 * r8 = phys_offset, r9 = cpuid, r10 = procinfo

120 */

121 bl __vet_atags

......

128 bl __create_page_tables

129

130/*

131 * The following calls CPU specific code in a position independent

132 * manner. See arch/arm/mm/proc-*.S for details. r10 = base of

133 * xxx_proc_info structure selected by __lookup_processor_type

134 * above. On return, the CPU will be ready for the MMU to be

135 * turned on, and r0 will hold the CPU control register value.

136 */

137 ldr r13,=__mmap_switched @ address to jump to after

138 @ mmu has been enabled

139 adr lr, BSYM(1f) @ return(PIC) address

140 mov r8, r4 @ set TTBR1 to swapper_pg_dir

141 ldr r12,[r10, #PROCINFO_INITFUNC]

142 add r12, r12, r10

143 ret r12

1441: b __enable_mmu

145 ENDPROC(stext)

第92行，调用函数safe_svcmode_maskall确保CPU处于SVC模式，并且关闭了所有的中断。safe_svcmode_maskall定义在文件arch/arm/include/asm/assembler.h中。

第94行，读处理器ID，ID值保存在r9寄存器中。

第95行，调用函数__lookup_processor_type检查当前系统是否支持此CPU，如果支持的就获取procinfo信息。procinfo是proc_info_list类型的结构体， proc_info_list在文件 arch/arm/include/asm/procinfo.h中的定义如下：

示例代码36.2.1.3 proc_info_list结构体

struct proc_info_list {

unsignedint cpu_val;

unsignedint cpu_mask;

unsignedlong __cpu_mm_mmu_flags; /* used by head.S */

unsignedlong __cpu_io_mmu_flags; /* used by head.S */

unsignedlong __cpu_flush; /* used by head.S */

constchar *arch_name;

constchar *elf_name;

unsignedint elf_hwcap;

constchar *cpu_name;

struct processor *proc;

struct cpu_tlb_fns *tlb;

struct cpu_user_fns *user;

struct cpu_cache_fns *cache;

};

Linux内核将每种处理器都抽象为一个proc_info_list结构体，每种处理器都对应一个procinfo。因此可以通过处理器ID来找到对应的procinfo结构，__lookup_processor_type函数找到对应处理器的procinfo以后会将其保存到r5寄存器中。

继续回到示例代码36.2.1.2中，第121行，调用函数__vet_atags验证atags或设备树(dtb)的合法性。函数__vet_atags定义在文件arch/arm/kernel/head-common.S中。

第128行，调用函数__create_page_tables创建页表。

第137行，将函数__mmap_switched的地址保存到r13寄存器中。__mmap_switched定义在文件arch/arm/kernel/head-common.S，__mmap_switched最终会调用start_kernel函数。

第144行，调用__enable_mmu函数使能MMU，__enable_mmu定义在文件arch/arm/kernel/head.S中。__enable_mmu最终会通过调用__turn_mmu_on来打开MMU，__turn_mmu_on最后会执行r13里面保存的__mmap_switched函数。

36.2.2 __mmap_switched函数

__mmap_switched函数定义在文件arch/arm/kernel/head-common.S中，函数代码如下：

示例代码36.2.2.1 __mmap_switched函数

81 __mmap_switched:

82 adr r3, __mmap_switched_data

83

84 ldmia r3!,{r4, r5, r6, r7}

85 cmp r4, r5 @ Copy data segment if needed

861: cmpne r5, r6

87 ldrne fp,[r4], #4

88 strne fp,[r5], #4

89 bne 1b

90

91 mov fp, #0 @ Clear BSS (and zero fp)

921: cmp r6, r7

93 strcc fp,[r6],#4

94 bcc 1b

95

96 ARM( ldmia r3,{r4, r5, r6, r7, sp})

97 THUMB( ldmia r3,{r4, r5, r6, r7})

98 THUMB( ldr sp,[r3, #16])

99 str r9,[r4] @ Save processor ID

100 str r1,[r5] @ Save machine type

101 str r2,[r6] @ Save atags pointer

102 cmp r7, #0

103 strne r0,[r7] @ Save control register values

104 b start_kernel

105 ENDPROC(__mmap_switched)

第104行最终调用start_kernel来启动Linux内核，start_kernel函数定义在文件init/main.c中。

36.2.3 start_kernel函数

start_kernel通过调用众多的子函数来完成Linux启动之前的一些初始化工作，由于start_kernel函数里面调用的子函数太多，而这些子函数又很复杂，因此我们简单的来看一下一些重要的子函数。精简并添加注释后的start_kernel函数内容如下：

示例代码36.2.3.1 start_kernel函数

asmlinkage __visible void __init start_kernel(void)

{

char*command_line;

char*after_dashes;

lockdep_init();/* lockdep是死锁检测模块，此函数会初始化

* 两个hash表。此函数要求尽可能早的执行！

*/

set_task_stack_end_magic(&init_task);/* 设置任务栈结束魔术数，

*用于栈溢出检测

*/

smp_setup_processor_id();/* 跟SMP有关(多核处理器)，设置处理器ID。

* 有很多资料说ARM架构下此函数为空函数，那是因

* 为他们用的老版本Linux，而那时候ARM还没有多

*核处理器。

*/

debug_objects_early_init(); /* 做一些和debug有关的初始化 */

boot_init_stack_canary(); /* 栈溢出检测初始化 */

cgroup_init_early(); /* cgroup初始化，cgroup用于控制Linux系统资源*/

local_irq_disable(); /* 关闭当前CPU中断 */

early_boot_irqs_disabled = true;

/*

* 中断关闭期间做一些重要的操作，然后打开中断

*/

boot_cpu_init(); /* 跟CPU有关的初始化 */

page_address_init(); /* 页地址相关的初始化 */

pr_notice("%s", linux_banner);/* 打印Linux版本号、编译时间等信息 */

setup_arch(&command_line);/* 架构相关的初始化，此函数会解析传递进来的

* ATAGS或者设备树(DTB)文件。会根据设备树里面

* 的model和compatible这两个属性值来查找

* Linux是否支持这个单板。此函数也会获取设备树

* 中chosen节点下的bootargs属性值来得到命令

* 行参数，也就是uboot中的bootargs环境变量的

* 值，获取到的命令行参数会保存到

*command_line中。

*/

mm_init_cpumask(&init_mm); /* 看名字，应该是和内存有关的初始化 */

setup_command_line(command_line);/* 好像是存储命令行参数 */

setup_nr_cpu_ids();/* 如果只是SMP(多核CPU)的话，此函数用于获取

* CPU核心数量，CPU数量保存在变量

* nr_cpu_ids中。

*/

setup_per_cpu_areas();/* 在SMP系统中有用，设置每个CPU的per-cpu数据 */

smp_prepare_boot_cpu();

build_all_zonelists(NULL,NULL); /* 建立系统内存页区(zone)链表 */

page_alloc_init(); /* 处理用于热插拔CPU的页 */

/* 打印命令行信息 */

pr_notice("Kernel command line: %s", boot_command_line);

parse_early_param();/* 解析命令行中的console参数 */

after_dashes = parse_args("Booting kernel",

static_command_line, __start___param,

__stop___param - __start___param,

-1,-1,&unknown_bootoption);

if(!IS_ERR_OR_NULL(after_dashes))

parse_args("Setting init args", after_dashes,NULL,0,-1,-1,

set_init_arg);

jump_label_init();

setup_log_buf(0); /* 设置log使用的缓冲区*/

pidhash_init();/* 构建PID哈希表，Linux中每个进程都有一个ID,

* 这个ID叫做PID。通过构建哈希表可以快速搜索进程

* 信息结构体。

*/

vfs_caches_init_early(); /* 预先初始化vfs(虚拟文件系统)的目录项和

*索引节点缓存

*/

sort_main_extable(); /* 定义内核异常列表 */

trap_init(); /* 完成对系统保留中断向量的初始化 */

mm_init(); /* 内存管理初始化 */

sched_init(); /* 初始化调度器，主要是初始化一些结构体 */

preempt_disable(); /* 关闭优先级抢占 */

if(WARN(!irqs_disabled(), /* 检查中断是否关闭，如果没有的话就关闭中断 */

"Interrupts were enabled *very* early, fixing it"))

local_irq_disable();

idr_init_cache(); /* IDR初始化，IDR是Linux内核的整数管理机

* 制，也就是将一个整数ID与一个指针关联起来。

*/

rcu_init(); /* 初始化RCU，RCU全称为Read Copy Update(读-拷贝修改) */

trace_init(); /* 跟踪调试相关初始化 */

context_tracking_init();

radix_tree_init(); /* 基数树相关数据结构初始化 */

early_irq_init(); /* 初始中断相关初始化,主要是注册irq_desc结构体变

* 量，因为Linux内核使用irq_desc来描述一个中断。

*/

init_IRQ();/* 中断初始化 */

tick_init();/* tick初始化 */

rcu_init_nohz();

init_timers();/* 初始化定时器 */

hrtimers_init();/* 初始化高精度定时器 */

softirq_init();/* 软中断初始化 */

timekeeping_init();

time_init(); /* 初始化系统时间 */

sched_clock_postinit();

perf_event_init();

profile_init();

call_function_init();

WARN(!irqs_disabled(),"Interrupts were enabled early");

early_boot_irqs_disabled = false;

local_irq_enable(); /* 使能中断 */

kmem_cache_init_late(); /* slab初始化，slab是Linux内存分配器 */

console_init(); /* 初始化控制台，之前printk打印的信息都存放

* 缓冲区中，并没有打印出来。只有调用此函数

* 初始化控制台以后才能在控制台上打印信息。

*/

if(panic_later)

panic("Too many boot %s vars at `%s'", panic_later,

panic_param);

lockdep_info();/* 如果定义了宏CONFIG_LOCKDEP，那么此函数打印一些信息。*/

locking_selftest() /* 锁自测 */

......

page_ext_init();

debug_objects_mem_init();

kmemleak_init(); /* kmemleak初始化，kmemleak用于检查内存泄漏 */

setup_per_cpu_pageset();

numa_policy_init();

if(late_time_init)

late_time_init();

sched_clock_init();

calibrate_delay();/* 测定BogoMIPS值，可以通过BogoMIPS来判断CPU的性能

* BogoMIPS设置越大，说明CPU性能越好。

*/

pidmap_init(); /* PID位图初始化 */

anon_vma_init(); /* 生成anon_vma slab缓存 */

acpi_early_init();

......

thread_info_cache_init();

cred_init(); /* 为对象的每个用于赋予资格(凭证) */

fork_init(); /* 初始化一些结构体以使用fork函数 */

proc_caches_init(); /* 给各种资源管理结构分配缓存 */

buffer_init(); /* 初始化缓冲缓存 */

key_init(); /* 初始化密钥 */

security_init(); /* 安全相关初始化 */

dbg_late_init();

vfs_caches_init(totalram_pages); /* 为VFS创建缓存 */

signals_init(); /* 初始化信号 */

page_writeback_init(); /* 页回写初始化 */

proc_root_init(); /* 注册并挂载proc文件系统 */

nsfs_init();

cpuset_init(); /* 初始化cpuset，cpuset是将CPU和内存资源以逻辑性

* 和层次性集成的一种机制，是cgroup使用的子系统之一

*/

cgroup_init(); /* 初始化cgroup */

taskstats_init_early(); /* 进程状态初始化 */

delayacct_init();

check_bugs(); /* 检查写缓冲一致性 */

acpi_subsystem_init();

sfi_init_late();

if(efi_enabled(EFI_RUNTIME_SERVICES)){

efi_late_init();

efi_free_boot_services();

}

ftrace_init();

rest_init(); /* rest_init函数 */

}

start_kernel里面调用了大量的函数，每一个函数都是一个庞大的知识点，如果想要学习Linux内核，那么这些函数就需要去详细的研究。本教程注重于嵌入式Linux入门，因此不会去讲太多关于Linux内核的知识。start_kernel函数最后调用了rest_init，接下来简单看一下rest_init函数。

36.2.4 rest_init函数

rest_init函数定义在文件init/main.c中，函数内容如下：

示例代码36.2.4.1 rest_init函数

383static noinline void __init_refok rest_init(void)

384{

385int pid;

386

387 rcu_scheduler_starting();

388 smpboot_thread_init();

389/*

390 * We need to spawn init first so that it obtains pid 1, however

391 * the init task will end up wanting to create kthreads, which,

392 * if we schedule it before we create kthreadd, will OOPS.

393 */

394 kernel_thread(kernel_init,NULL, CLONE_FS);

395 numa_default_policy();

396 pid = kernel_thread(kthreadd,NULL, CLONE_FS | CLONE_FILES);

397 rcu_read_lock();

398 kthreadd_task = find_task_by_pid_ns(pid,&init_pid_ns);

399 rcu_read_unlock();

400 complete(&kthreadd_done);

401

402/*

403 * The boot idle thread must execute schedule()

404 * at least once to get things moving:

405 */

406 init_idle_bootup_task(current);

407 schedule_preempt_disabled();

408/* Call into cpu_idle with preempt disabled */

409 cpu_startup_entry(CPUHP_ONLINE);

410}

第387行，调用函数rcu_scheduler_starting，启动RCU锁调度器

第394行，调用函数kernel_thread创建kernel_init线程，也就是大名鼎鼎的init内核进程。init进程的PID为1。init进程一开始是内核进程(也就是运行在内核态)，后面init进程会在根文件系统中查找名为"init"这个程序，这个"init"程序处于用户态，通过运行这个"init"程序，init进程就会实现从内核态到用户态的转变。

第396行，调用函数kernel_thread创建kthreadd内核进程，此内核进程的PID为2。kthreadd进程负责所有内核进程的调度和管理。

第409行，最后调用函数cpu_startup_entry来进入idle进程，cpu_startup_entry会调用cpu_idle_loop，cpu_idle_loop是个while循环，也就是idle进程代码。idle进程的PID为0，idle进程叫做空闲进程，如果学过FreeRTOS或者UCOS的话应该听说过空闲任务。idle空闲进程就和空闲任务一样，当CPU没有事情做的时候就在idle空闲进程里面"瞎逛游"，反正就是给CPU找点事做。当其他进程要工作的时候就会抢占idle进程，从而夺取CPU使用权。其实大家应该可以看到idle进程并没有使用kernel_thread或者fork函数来创建，因为它是有主进程演变而来的。

在Linux终端中输入"ps-A"就可以打印出当前系统中的所有进程，其中就能看到init进程和kthreadd进程，如图36.2.4.1所示：

图36.2.4.1 Linux系统当前进程

从图36.2.4.1可以看出，init进程的PID为1，kthreadd进程的PID为2。之所以图36.2.4.1中没有显示PID为0的idle进程，那是因为idle进程是内核进程。我们接下来重点看一下init进程，kernel_init就是init进程的进程函数。

36.2.5 init进程

kernel_init函数就是init进程具体做的工作，定义在文件init/main.c中，函数内容如下：

示例代码36.2.5.1 kernel_init函数

928staticint __ref kernel_init(void*unused)

929{

930int ret;

931

932 kernel_init_freeable(); /* init进程的一些其他初始化工作 */

933/* need to finish all async __init code before freeing the

memory */

934 async_synchronize_full(); /* 等待所有的异步调用执行完成 */

935 free_initmem(); /* 释放init段内存 */

936 mark_rodata_ro();

937 system_state = SYSTEM_RUNNING;/* 标记系统正在运行 */

938 numa_default_policy();

939

940 flush_delayed_fput();

941

942if(ramdisk_execute_command){

943 ret = run_init_process(ramdisk_execute_command);

944if(!ret)

945return0;

946 pr_err("Failed to execute %s (error %d)",

947 ramdisk_execute_command, ret);

948}

949

950/*

951 * We try each of these until one succeeds.

952 *

953 * The Bourne shell can be used instead of init if we are

954 * trying to recover a really broken machine.

955 */

956if(execute_command){

957 ret = run_init_process(execute_command);

958if(!ret)

959return0;

960 panic("Requested init %s failed (error %d).",

961 execute_command, ret);

962}

963if(!try_to_run_init_process("/sbin/init")||

964!try_to_run_init_process("/etc/init")||

965!try_to_run_init_process("/bin/init")||

966!try_to_run_init_process("/bin/sh"))

967return0;

968

969 panic("No working init found. Try passing init= option to kernel. "

970"See Linux Documentation/init.txt for guidance.");

971}

第932行，kernel_init_freeable函数用于完成init进程的一些其他初始化工作，稍后再来具体看一下此函数。

第940行，ramdisk_execute_command是一个全局的char指针变量，此变量值为"/init"，也就是根目录下的init程序。ramdisk_execute_command也可以通过uboot传递，在bootargs中使用"rdinit=xxx"即可，xxx为具体的init程序名字。

第943行，如果存在"/init"程序的话就通过函数run_init_process来运行此程序。

第956行，如果ramdisk_execute_command为空的话就看execute_command是否为空，反正不管如何一定要在根文件系统中找到一个可运行的init程序。execute_command的值是通过uboot传递，在bootargs中使用"init=xxxx"就可以了，比如"init=/linuxrc"表示根文件系统中的linuxrc就是要执行的用户空间init程序。

第963~966行，如果ramdisk_execute_command和execute_command都为空，那么就依次查找"/sbin/init"、"/etc/init"、"/bin/init"和"/bin/sh"，这四个相当于备用init程序，如果这四个也不存在，那么Linux启动失败！

第969行，如果以上步骤都没有找到用户空间的init程序，那么就提示错误发生！

最后来简单看一下kernel_init_freeable函数，前面说了，kernel_init会调用此函数来做一些init进程初始化工作。kernel_init_freeable定义在文件init/main.c中，缩减后的函数内容如下：

示例代码36.2.5.2 kernel_init_freeable函数

973static noinline void __init kernel_init_freeable(void)

974{

975/*

976 * Wait until kthreadd is all set-up.

977 */

978 wait_for_completion(&kthreadd_done);/* 等待kthreadd进程准备就绪 */

......

998

999 smp_init(); /* SMP初始化 */

1000 sched_init_smp(); /* 多核(SMP)调度初始化 */

1001

1002 do_basic_setup();/* 设备初始化都在此函数中完成 */

1003

1004/* Open the /dev/console on the rootfs, this should never fail */

1005if(sys_open((constchar __user *)"/dev/console", O_RDWR,0)<0)

1006 pr_err("Warning: unable to open an initial console.");

1007

1008(void) sys_dup(0);

1009(void) sys_dup(0);

1010/*

1011 * check if there is an early userspace init. If yes, let it do

1012 * all the work

1013 */

1014

1015if(!ramdisk_execute_command)

1016 ramdisk_execute_command ="/init";

1017

1018if(sys_access((constchar __user *) ramdisk_execute_command,0)!=0){

1019 ramdisk_execute_command =NULL;

1020 prepare_namespace();

1021}

1022

1023/*

1024 * Ok, we have completed the initial bootup, and

1025 * we're essentially up and running. Get rid of the

1026 * initmem segments and start the user-mode stuff..

1027 *

1028 * rootfs is available now, try loading the public keys

1029 * and default modules

1030 */

1031

1032 integrity_load_keys();

1033 load_default_modules();

1034}

第1002行，do_basic_setup函数用于完成Linux下设备驱动初始化工作！非常重要。do_basic_setup会调用driver_init函数完成Linux下驱动模型子系统的初始化。

第1005行，打开设备"/dev/console"，在Linux中一切皆为文件！因此"/dev/console"也是一个文件，此文件为控制台设备。每个文件都有一个文件描述符，此处打开的"/dev/console"文件描述符为0，作为标准输入(0)。

第1008和1009行，sys_dup函数将标准输入(0)的文件描述符复制了2次，一个作为标准输出(1)，一个作为标准错误(2)。这样标准输入、输出、错误都是/dev/console了。console通过uboot的bootargs环境变量设置，"console=ttymxc0,115200"表示将/dev/ttymxc0设置为console，也就是I.MX6U的串口1。当然，也可以设置其他的设备为console，比如虚拟控制台tty1，设置tty1为console就可以在LCD屏幕上看到系统的提示信息。

第1020行，调用函数prepare_namespace来挂载根文件系统。跟文件系统也是由命令行参数指定的，也就是uboot的bootargs环境变量。比如"root=/dev/mmcblk1p2 rootwait rw"就表示根文件系统在/dev/mmcblk1p2中，也就是EMMC的分区2中。

Linux内核启动流程就分析到这里，Linux内核最终是需要和根文件系统打交道的，需要挂载根文件系统，并且执行根文件系统中的init程序，以此来进去用户态。这里就正式引出了根文件系统，根文件系统也是我们系统移植的最后一片拼图。Linux移植三巨头：uboot、Linuxkernel、rootfs(根文件系统)。关于根文件系统后面章节会详细的讲解，这里我们只需要知道Linux内核移植完成以后还需要构建根文件系统即可。