最简单的:

sudo mv /etc/rc2.d/S30gdm /etc/rc2.d/s30gdm

修改成小写的s后启动时,就会忽略这项启动,而gdm是就是启动X的脚本。
如果是 kde 的话可能就是 kdm 了