网站需要禁止抓取所有的php文件夹,网站屏蔽了所有js文件，但是百度依然抓取，从日志看，百度浪费了很多时间在js的抓取上...

用光年日志软件分析的结果，百度浪费在js的抓取上将近上万次抓取，而网站的总抓取量才4万，浪费了很多资源，百度花了很多时间抓取了不必要抓的文件。

这个是我网站robots文件的写法：

## robots.txt for PHPWind# Version 8.0#User-agent: *Disallow:

/admin/Disallow: /api/Disallow: /apps/Disallow: /member/Disallow:

/pw8/Disallow: /data/Disallow: /hack/Disallow: /images/Disallow:

/ipdata/Disallow: /js/Disallow: /lang/Disallow: /lib/Disallow:

/mode/Disallow: /error/Disallow: /require/Disallow:

/template/Disallow: /active.phpDisallow: /admin.phpDisallow:

/ajax.phpDisallow: /ck.phpDisallow: /forumcp.phpDisallow:

/job.phpDisallow: /ad_vcount.phpDisallow: /index.phpDisallow:

/member.phpDisallow: /message.phpDisallow: /post.phpDisallow:

/profile.phpDisallow: /pw_ajax.phpDisallow: /pw_api.phpDisallow:

/pw_app.phpDisallow: /survey.phpDisallow: /simple/Disallow:

/*?*Disallow: /*.js*

这里网站在建立初期就屏蔽了js目录，不让抓取，在这里请教各位，这个顽症应该怎么治疗？

http://www.xgn120.com/