python能爬国外的网站吗_我是如何分析和爬取外国网站的图片

确定爬取的对象

在浏览器F12打开查看页面元素，分析一下这个网站的情况，可以看到幻灯片的图片地址藏在这个id=supersized的ul标签里面，也看到页面导航栏的元素是id=menu的ul标签下面，粗略分析之后，我们才来开始安装环境也写代码。

搭建python环境(docker)

docker环境不用说啦，一条语句就可以搞定的事情

我自己使用的是3.5的版本，其他版本请随意

docker pull python:3.5

进入容器安装爬虫框架

pip install scrapy

创建爬虫项目

scrapy startproject CrawlImages

命令行调试爬取对象的页面元素

scrapy shell http://hideakihamada.com

# 使用选择器输出页面的元素

response.css('#menu').css('a').xpath('@href').extract()

# 可以看到正常输出导航栏的菜单元素

# 接下来输出幻灯片的地址

response.css('#supersized')

瓦特，这是怎么回事，明明页面有的元素，这个万能的爬虫选择器为什么没法get到我要的数据呢。还是得好好思考一下，我脑子一下子复杂起来，懒加载？后端渲染数据？前端渲染数据？不知道什么回事，我在浏览器页面审核元素找了找，发现了更多的秘密，原来在scrapt里面还有后面才渲染出来的变量，存了特别多的照片url。直觉告诉我，这个网站还没全部加载完就被我的小虫虫先爬了一下，于是后面加载的数据小虫虫就拿不到数据了。于是找了一下相关插件，先不找是不是最强的，找个能用的就好，这个插件就是辅助小虫虫在拿到页面之前把网站先全部加载完，不管该网站用什么技术去渲染。

安装渲染网页的插件

专门渲染网页的插件——splash，docker安装即可

docker run -p 8050:8050 --name=splash scrapinghub/splash

#查看容器的ip地址

docker inspect splash

可以用主机ip加端口浏览器访问是不是能正常打开，能的话就恭喜你了，下