如何防止非公开内容被搜索引擎搜到？

举个例子，比如QQ空间，有些人的QQ空间只对好友开放或者需要回答问题才能进入。我本来想通过搜索引擎搜索这些人空间了的内容，但是没有搜到任何结果。说明QQ空间里非公开的内容搜索引擎是搜不到的。
现在我的问题是，比如我有一个网站，里面有一部分内容是需要登录验证身份后才能看到的。那么如何防止这些内容被搜索引擎搜索到？