python爬取图书信息_Python3 爬虫爬取中国图书网(淘书团) 记录

本人为一名刚开始学Python爬虫的小白，开贴仅为记录下自己的学习历程，方便做review

要爬取链接：http://tuan.bookschina.com/

要爬取内容： 图书名称， 图书价格， 以及对应预览图的link

本文用到py packages: requests, BeautifulSoup, json, cvs

打开中国图书网团购页面时，发现网站的信息是动态加载的：

Anyways,先不考虑加载更多页的图书信息，我们从尝试着抓取第一页的图书信息开始：

本次爬虫所用的浏览器为chrome

所以我们打开浏览器的开发者模式F12，可以看到页面加载的相应信息

为了实现模拟浏览器登录功能，我们需要查看header的信息：

完成对应的代码：

header = {

‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36‘,

‘Host‘: ‘tuan.bookschina.com‘,

‘Referer‘: ‘http://tuan.bookschina.com/‘,

‘Accept‘: ‘text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8‘,

‘Accept-Encoding‘: ‘gzip, deflate‘,

‘Accept-Language‘: ‘zh-CN,zh;q=0.9‘

}

接下来我们需要做的就是分析整个中国图书网的DOM，去查看我们需要的信息，都封装在哪些tags里面

经过地毯式搜索。。。。我们发现我们所需要的信息，都封装在