《搜索引擎优化初学者指南》笔记（二）

四、处理页面的抓取

4.1 更加有效的使用robot.txt文件

robot.txt文件存放在网站的根目录下，用来告知搜索引擎是否有权抓取你网站的特定部分。因为通常情况下，一个网站并不是所有的页面都希望被搜索引擎抓取，比如说一些异常情况处理的页面出现在网页搜索的结果中对用户来说就没什么用处。

在Google的站长工具中，有可以生成robot.txt的专用工具。同时也有专门的工具可以让站长将已经被抓取的网页从搜索结果中移除。

有些较为敏感的内容仅仅使用robot.txt文件限制是不够的，因为一些非正规的搜索引擎有可能会不遵守robot.txt文件中的规则而采集所有的网页，此时可以采用.htacess文件对内容进行加密保护以及一些更加安全的措施来防止敏感内容的泄露。

4.2谨慎使用rel=“nofollow”

在网站的运营中，很有可能会出现一种情况，即有些用户会在留言区等其他区域留下一些链接，而这些链接网站本身可能并不知晓，并且也无意推荐，更不希望自己网站的声誉会流向这些链接所指向的网站。

此时，我们就可以使用将该部分链接的rel属性设置为“nofollow”，这样的话搜索引擎就不会继续抓取这些链接所指向的网页。

五、移动网站的搜索引擎优化

5.1 将移动网站告知Google

由于移动网站和传统的PC端网站还是存在着较大的差异，所以也要进行优化才能更好的被搜索引擎检索到。

首先，如果网站是刚刚创建的，那么搜索引擎很可能还没有收录，此时就需要网站的管理人员使用站长工具将移动网站地图提供给搜索引擎。

其次，有些移动网站是不允许手机以外的设备访问的，这样传统的搜索引擎抓取工具就没有办法对网站进行抓取。此时，如果还是希望能被搜索引擎抓取，就要确保该网站允许包括“Googlebot-Mobile”在内的所有User-Agent进行访问。

5.2 正确引导手机用户

在现在移动端非常普及的情况下，大多数网站都会同时运营移动版网站和桌面版网站。这就出现了一个常见的问题，即对移动端用户显示了桌面版，或是对PC用户显示了移动版。

这个问题的解决方法是：当手机用户或是移动抓取工具试图访问桌面版网址时，网站将他们重新定向到移动版网址。或是网站的移动版和PC版使用相同的网址，但是可以根据不同的User-Agent更改相应的格式，从而达到较好的用户体验。

六、网站的推广和分析

6.1 用正确的手段推广网站

1) 要提升网站内容的质量

2) 要学会利用博客和线下推广

3) 要充分利用社交网站的资源

4) 要多和同类型网站进行沟通

6.2 充分利用免费的站长工具

Google等其他主流搜索引擎都有提供高效的站长工具，这些站长工具大都是免费的，并且有很多实用的功能，利用好这些功能，可以更好的完成网站与搜索引擎之间的互动。

Google也提供了流量分析和网站优化器等，使用这些工具，可以让网站的管理人员对网站的访问流量进行深入的分析，从而更好的了解用户需求，进一步的优化网站。