Python爬虫的5个小实例

1. 如何获取京东商品页面信息

京东允许爬虫获取可见信息
代码如下

以iphone11为例子，结果如下

如何爬取亚马逊商品页面

代码如下，结果如下

结果失败了，我们继续查看我们发出的request的头部信息。

在user-agent一处，被查出来是requests库的请求，而亚马逊不允许此请求。我们修改头部信息为morilla /5.0的请求，这个morilla /5.0浏览器算是标准的浏览器。

修改之后成功爬取

如何爬取图片
先获取图片地址，代码如下

content代表二进制，因为图片是以二进制存储的，with open 中的文件如果不存在，它会自动创造一个。结果如下

如何自动搜索关键词
百度查询接口：http://www.baidu.com/s?wd=keyword
360查询接口： http://www.so.com/s?q=keyword
代码如下

可以看到，通过get，获取到查询接口，返回结果的长度在30k左右

如何获取IP地址的归属

需要拥有Ip库，但是python并不带有ip库，可以通过IP138网站查询。

IP138的查询接口：http://m.ip138.com/if.asp?ip=ipaddress

代码如下

结果如下，可以看到这个IP属于清华大学官网