在ywbd网站上爬取指定关键字内容。
网页源代码与用chrome审查内容不同,查看网页源代码,发现浏览器对源代码动态渲染加载过得到我们所见的网页。与很多爬虫教学视频不同,这个网址有以下几个问题:
1、查找后左边这个文件的response中有我需要的网址,但是他每次的callback都不相同。
2、左边这个文件headers中的URL我用浏览器打不开,提取出该字段也没用。 ———————————————————————————————————————— 解决办法 1、采用selenium动态加载网页内容并提取出所需要的网址。 参考网址http://www.jsphp.net/python/show-24-270-1.html
http://www.jsphp.net/python/show-24-270-1.html
2、执行源代码中的脚本程序
https://www.zhihu.com/question/64414811/answer/294149258执行脚本程序
。最后得到动态加载后的文本text内容,采用正则表达式
pattern="http[\\s\\S]*?htm"
提取出网页。