robots.txt
- robots协议(也称为爬虫协议,爬虫规则,机器人协议等)也就是robots.txt,网站通过robots协议告诉搜索引擎哪些页面可以抓取,那些页面不希望抓取。
- Robots协议是网站国际互联网界通行的道德规范,其目的是保护网站数据和敏感信息,确保用户个人信息和隐私不被侵犯。
因其不是命令,故需要搜索引擎自觉遵守
robots.txt放置位置 - roboats.txt文件应该放在网站的根目录下
例如:当spider访问一个网站(比如:http://www.taobao.com)时,首先会检查该网站中是否存在http://www..taobao.com.robots.txt这个文件,如果这个Spider找不到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。
robots.txt文件的写法User-agent:这里的代表的所有的搜索引擎种类,*是一个通配符
- Disallow:/admin/这里定义是禁止爬寻admin目录下面的目录
- Disallow:/?禁止访问网站中所有包含问号(?)的网址
- Disallow:/.jpg$禁止抓取网页所有 的.jsp格式的图片
- Disallow:/ab/abc.html禁止抓取ab文件夹下面的abc.html文件
- Allow:/cgi-bin/这里定义是允许爬寻cgi-bin目录下面的目录
- Allow:.html$仅允许访问以”.html”为后缀的URL
- Allow:.gif$允许抓取网页和gif格式图片
- Sitemap:网站地图,告诉爬虫这个网页是网站地图
注意严格区分大小写
- 爱站下的工具包中就可以使用这个工具,robots检测,
-
User-agent:* - Disallow:/dede
- Disallow:/include核心文件目录
- Disallow:/member 会员管理目录
- Disallow:/plus插件及框助功能目录
- Disallow:/templets默认模板存储目录
- Disallow:/data系统缓存或其他可写入数据存储目录
- Disallow:/uploads上传文件下载保管目次,不想索引得擎缓存图片的话,禁阻
- Disallow:/images系统默认模板图片存储目录
- Disallow:/index.php网站默认首页,静态化的话最好禁阻
Disallow:/404.html
安全联盟:https://www.anquan.org/百度站长平台:http://zhanzhang.baidu.com
打开网页检测以后
SEO白帽,黑帽,灰帽的定义白帽:使用公平的,符合主流搜索引擎方针规定的SEO优化方法
- 黑帽:作弊的意思,操作手法不符合主流搜索引擎发行方针规定
灰帽:介于白帽和黑帽之间的中间地带,相对于白帽而言,会采取一些取巧的方法来操作,这些行为因为不算违规,但同样也是不算遵守规则,是为灰色地带。
什么是白帽SEO?白帽SEO,光明磊落,一清二白,是一种严格遵守搜索引擎”游戏规则“的SEO方法
相对于黑帽SEO,白帽SEO是一种没有风险的一种搜索引擎优化方法,可以与搜索引擎友好的‘对话’。SEOer的最高职业道德标准。通过白帽SEO获得的搜索引擎排名和流量都比较稳定,从长远来 看,是一种”放长线钓大鱼“的SEO战略,也是符合网站生存之道的。
白帽seo是通过正常的手段对网站内部(包括网站标题,网站结构,网站代码,网站内容,关键字密度等)的调整,网站外部的链接建设来提高网站关键字在搜索引擎排名的一种SEO技术,白帽seo优化的生效时间长,优点:排名稳定浮动不大,不用担心因为SEO操作而降权
什么是黑帽SEO?
黑帽SEO,顾名思义就是”黑“,见不得光,它死一种利用搜索引擎漏洞,通过作弊的手法,快速的达到搜索引擎的排名的SEO方法
黑帽SEO常被定义为搜索引擎中的垃圾技术,属于一张非主流的走做引擎优化方法,可能会因为搜索引擎算法改变而面临严重惩罚
轻则降权,重则被K
常见黑帽SEO手法
- 桥页跳转
- 关键词堆砌
- 隐藏文本,关键词
- 建立镜像,重复或相似页面过多
- 疯狂的垃圾链接(Spam)
- 细微文字
- 障眼法
- 真的被”黑“了
关键词叠加,关键词堆砌
从网页标题title到meta的keywords,再到文章内容,底部版权,关键次无孔不入,根本不讲究一个合理分布,这样网页对用户来说没有任何的意义和价值,首先,用户的阅读兴趣就被你夸张的关键词密谋”暗杀“了。过分重复的使用关键词隐藏文本,关键词
实现原理就是利用CSS技术使文本的颜色和网页背景一致,以达到隐藏文本,关键词的目的。这是一种挺有争议的做法,像是擦边球,比如:搜索引擎营销关于这种SEO手法褒贬不一。
建立镜像 重复或相似页面过多
简单的修改网页标题,然后复制内容,以CTRL+V方式的”拿来主义“,在搜索引擎面前是很不讨人喜欢的,很多SEOer喜欢以量取胜,这些年,“采集伪原创”风气盛行,可能花个两三天时间就把别人辛苦好几年的站完美,”搬家“了。不过也不是什么长久之计,搜索引擎对这部分网站是不会给予很高的权重的
细微文字
一些搞SEO的朋友明白”隐藏文字“会遭到惩罚,所以将文字的字体在网页中设置到不起眼的地方,甚至小的看不见,一般会放在网页顶端或底部
障眼法
制作对用户无用或是看不到网页,里面堆满了关键词,而搜索引擎对这种掩耳盗铃的做法对策:就是一个字封
真的被黑了
这种黑帽SEO手法需要一定的”黑客:技术,一般人也干不来。比如,一般网络公司的服务器都了N个往站,只要你能顺利地进入服务器,加一些”隐藏链接“
降权
什么是网络被降权?
是指搜索引擎给网站评定的级别下降了,也就是搜索引擎对网站进行的一种处罚方式
表现特征
- 网站部分收录内容减少
- 网站排名大幅度下降
- 搜索引擎快照跟新速度降低
- 网站首页被屏蔽
- 网站全部页面删除
一般你看很正常的页面,很正常,你一滑动就会出现很多隐藏的东西,还有些是,它会判断是不是蜘蛛来了,如果是就会显示正常的页面,如果不是就会显示另外一个
网站被百度降权怎么办?
- 检查重复关键词,ALT,内容
- 检查有没有不良友情来链接
- 检查网站源文件是否有黑客进入
- 检查网站title修改
新站稳定性不高,如果有以上几点尽早除掉
网站被百度谷歌降权咋办?site:域名,判断沙盒效应
- 检查关键 词的密度,Title,keywords关键词是不是合理
site不存在(被K),重新被K的页面,合理布置关键词,增加一部分外链
网站优化精髓内容为”王“
- 用心经营内容
- 最好不要作弊
百度搜索引擎 搜索习惯 - 较重视第一次收录印象
- 对网页的更新较为敏感
- 较重视首页
- 较重视收录日期