从现成的网站上抓取汽车品牌,型号,车系的数据库记录。
先看成果,大概4w条车款记录
一共建了四张表,分别存储品牌,车系,车型和车款
大概过程:
使用jQuery获取页面中呈现的大批内容
能通过页面一次性获得所需大量数据的,通过jQuery获取原数据,并一条条显示在console面板中。每条我是直接拼接成sql显示。
打开chrome,进到地址http://www.autozi.com/carBrandLetter/.html。按F12点console面板。粘贴下面的内容
$("tr.event_scroll").each(function(i){var _this = $(this);//奥迪,宝马各个主品牌
var mainBrandName = _this.find('th>h4').text();var seriesList = $(this).find('.car-series-list li');
$.each(seriesList,function(i, el){//各品牌下的子品牌,如奥迪下有进口奥迪和一汽奥迪
var subBrandName = $(el).find('h4').text();//各个车系,如奥迪A6,A4
var models = $(el).find('a.carModel')
$.each(models,function(j, element){var model =$(element).text();var carSeriesId = getCarSeriesId($(element).attr('s_href'));//拼接成sql语句,插入数据库用
getSql(subBrandName,model,carSeriesId);
})
});
});//根据地址获取参数id//如http://www.autozi.com:80/carmodels.do?carSeriesId=1306030951244661 得到1306030951244661
functiongetCarSeriesId(str) {return str.slice(str.indexOf('=')+1);
}//拼接成sql语句,插入数据库用//insert into tableName(brandName, name, carSeriesId) values ("一汽奥迪", "A6", "425");
functiongetSql(subBrandName,model,carSeriesId) {var str = 'insert into tableName(brandName, name, carSeriesId) values ("'+subBrandName+'", "'+model+'", "'+carSeriesId+'");';
console.log(str);
}
回车,显示如下。
这样我就拿到了所有的汽车品牌,子品牌和车系。
但是具体的包含年份和排量的车型还没有办法拿到。比如奥迪A6L。有2011年款2.0L的,有2005年4.2L的。
网站做成了在弹窗中显示。
比如点击A6L。发送一个ajax请求,请求地址是:http://www.autozi.com/carmodels.do?carSeriesId=425&_=1462335011762
当点击第二页,又发起了一个新的ajax请求,请求地址是:http://www.autozi.com/carmodelsAjax.do?currentPageNo=2&carSeriesId=425&_=1462335011762
奥迪A6L一共有四页carSeriesId=425刚才已经拿到了。要获得所有年份和排量的A6L。就要发起四个请求,地址是:
http://www.autozi.com/carmodelsAjax.do?currentPageNo=[#page]&carSeriesId=425
[#page]即为1-4。每次改变下分页参数数值即可。当请求不存在的http://www.autozi.com/carmodelsAjax.do?currentPageNo=5&carSeriesId=425。会返回空页面。
使用Python获取页面中的内容
getSoup是打开页面并返回html,请求页面地址中初始pageNo参数是1。判断返回的html是否为空。如果有内内容则pageNo+1。继续请求这个地址。
如果没有则请求下一个车系的地址。
每两个车系之间暂停10秒。因为我发现如果操作过于频繁服务端会返回空。
from urllib.request importurlopenfrom bs4 importBeautifulSoupfrom time importsleep#carList
defgetList(carList):
fo= open("cars.txt", "a+")for link in soup.find_all("a", class_="link"):#print(link.get('title'))
fo.write(link.get('title')+'\n')
fo.close()defgetSoup(modelId, pageNumber):
tpl_url= "http://www.autozi.com/carmodelsAjax.do?carSeriesId=[#id]¤tPageNo=[#page]"real_url= tpl_url.replace('[#id]', str(modelId))
real_url= real_url.replace('[#page]', str(pageNumber))
from_url= urlopen(real_url).read().decode('utf-8')
soup= BeautifulSoup(from_url, "html5lib")returnsoup
modelIds= [741,1121,357,1055]for modelId inmodelIds:
flag=True
i= 1
whileflag:
soup=getSoup(modelId, i)
carList= soup.find_all('li', limit=1)iflen(carList):
getList(carList)
i=i+1
else:
flag=False
sleep(10)
因为这个脚本的执行时间会很长,我是放到自己的vps上,将该脚本另存为car.py
然后在linux命令行里执行 nohup ./car.py &
这样保证防止断网退出执行,同时将该任务放到后台。