本文探讨了爬虫在抓取数据时遇到的各种问题，包括产品下线后页面的状态处理、权限限制内容、反爬虫策略误伤、POST请求的处理、服务器响应慢、iframe和ajax的影响以及图片/flash内容的理解难题。SEO需要与技术部门协作，确保用户、搜索引擎和SEO流量之间的平衡，避免对网站排名造成负面影响。
内容简介：
1)存在时效性内容的站点，容易出现机器不可见的情况。如：
电商网站，商户下线了某个不再售卖的产品
团购网站，商户下线了某个不再优惠的活动
招聘网站，公司下线了某个不再招聘的职位
B2B网站，厂商下线了某个不再批发的产品
...............
当用户下线的某个产品/职位/活动，对应的前端页面，一般会有3种状态：
a、产品下线后，对应页面立马404状态
假如下线产品对应的页面，刚好在搜索引擎的待抓取列表中，当搜索引擎访问时，必然出现机器不可见的情况，因为是死链。所以SEO需要找技术定期(至少每天)索取下线产品对应的链接，及时提交死链给搜索引擎，规避惩罚风险
b、产品下线后，对应页面301到首页，或上级页面，或其他什么的页面
c、产品下线后，对应页面仍然200状态，页面上添加下线状态的标识
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
