本人为一名刚开始学Python爬虫的小白,开贴仅为记录下自己的学习历程,方便做review
要爬取链接:http://tuan.bookschina.com/
要爬取内容: 图书名称, 图书价格, 以及对应预览图的link
本文用到py packages: requests, BeautifulSoup, json, cvs
打开中国图书网团购页面时,发现网站的信息是动态加载的:
Anyways,先不考虑加载更多页的图书信息,我们从尝试着抓取第一页的图书信息开始:
本次爬虫所用的浏览器为chrome
所以我们打开浏览器的开发者模式F12,可以看到页面加载的相应信息
为了实现模拟浏览器登录功能,我们需要查看header的信息:
完成对应的代码:
header = {
‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36‘,
‘Host‘: ‘tuan.bookschina.com‘,
‘Referer‘: ‘http://tuan.bookschina.com/‘,
‘Accept‘: ‘text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8‘,
‘Accept-Encoding‘: ‘gzip, deflate‘,
‘Accept-Language‘: ‘zh-CN,zh;q=0.9‘
}
接下来我们需要做的就是分析整个中国图书网的DOM,去查看我们需要的信息,都封装在哪些tags里面
经过地毯式搜索。。。。我们发现我们所需要的信息,都封装在