python爬取汽车之家数据_python抓取某汽车网数据解析html存入excel示例

1、某汽车网站地址

2、使用firefox查看后发现，此网站的信息未使用json数据，而是简单那的html页面而已

3、使用pyquery库中的PyQuery进行html的解析

页面样式：

def get_dealer_info(self):

"""获取经销商信息"""

css_select = 'html body div.box div.news_wrapper div.main div.news_list div.service_main div table tr '

#使用火狐浏览器中的自动复制css路径得到需要位置数据

page = urllib2.urlopen(self.entry_url).read()

#读取页面

page = page.replace('
','&')

page = page.replace('
','&')

#由于页面中的电话信息中使用了br换行，所以在抓取的时候会产生问题

#问题是：如果取得一对标签中的数据，中包含
,会出现值得到br之前的数据，而后的数据将得不到，原因个人认为是解析html是会任务/>结尾标准

d = pq(page)

#使用PyQuery解析页面，此处pq=PyQuery,因为from pyquery import PyQuery as pq

dealer_list = []

#创建列表用于提