爬虫【爬取汽车之家新闻】

代码示例

# coding:utf-8
import requests
from bs4 import BeautifulSoup

# http方式
response = requests.get('http://www.autohome.com.cn/news/')
# response.encoding='gbk'
# print(response.text)
# 因为汽车之家的编码是gbk

# 文件方式
with open('autohome_new_txt','r',encoding='utf-8') as f:
    data = f.read()

soup = BeautifulSoup(data,'html.parser')
tag = soup.find(name='div',attrs={'id':'auto-channel-lazyload-article'})

li_list = tag.find_all('li') # [标签对象,标签对象]
for li in li_list:
    h3 = li.find(name='h3')
    if not h3:
        continue
    print(h3.text,li.find(name='a').get('href'))
    #print(li.find(name='a').attrs['href'])
    # print(li.find('p').text)

    img_url = li.find('img').get('src')
    print(img_url)

    res = requests.get('http:'+img_url)

    with open('xxxx.jpg','wb') as f:
        f.write(res.content)

运行结果

搭10AT 林肯新领航员广州车展在华首发 //www.autohome.com.cn/news/201710/908079.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g7/M0B/AE/1A/120x90_0_autohomecar__wKgH3VniOJeAIiSnAAFNvbfnshQ672.jpg
2020年亮相 西雅特将推出Coupe造型SUV //www.autohome.com.cn/news/201710/908073.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g13/M12/AA/D7/120x90_0_autohomecar__wKjBylniGjqAbqrgAADbfo74HXo817.jpg
基于新平台 Dacia或2019年推新Sandero //www.autohome.com.cn/news/201710/908074.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g13/M0E/A5/7D/120x90_0_autohomecar__wKgH1FniIZOAZ0iCAAFc6QNvKZQ978.jpg
2018年下半年面世 吉利全新MPV谍照曝光 //www.autohome.com.cn/news/201710/908081.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g12/M0A/A2/D2/120x90_0_autohomecar__wKgH01niTPGASV7xAAE-aV6aDL8325.jpg
12月底上市 MINI将推Blackfriars特别版 //www.autohome.com.cn/news/201710/908080.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g21/M08/82/64/120x90_0_autohomecar__wKjBwlniPYqAA0wIAAE6DFEdIuk786.jpg
搭载插电混动 全新卫士或2018年底亮相 //www.autohome.com.cn/news/201710/908071.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g11/M09/A8/5F/120x90_0_autohomecar__wKjBzFnh4QiALQrIAADCA1i9nhw374.jpg
IIHS新成绩：沃尔沃全新XC60获“优+” //www.autohome.com.cn/news/201710/908070.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g7/M07/AD/78/120x90_0_autohomecar__wKgH3Vnh0O-AOMpMAAD8u1J7isY005.jpg
2018年发布并投产 曝全新奥迪A1新谍照 //www.autohome.com.cn/news/201710/908067.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g12/M08/AC/64/120x90_0_autohomecar__wKgH4lnhhwyAb0jTAAHlS9YQ1j0456.jpg
2019年实现L3自动驾驶 北汽/百度合作 //www.autohome.com.cn/news/201710/908065.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g8/M12/A0/D6/120x90_0_autohomecar__wKjBz1nheOmATS4KAAGS7D5LH40773.jpg
越野怪兽 奔驰G 500 4X4十月底停产 //www.autohome.com.cn/news/201710/908063.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g16/M0A/AB/21/120x90_0_autohomecar__wKgH5lnhcA-AeS34AAGnPRLtaO0804.jpg
IIHS新成绩:雷克萨斯IS改进后获“优+” //www.autohome.com.cn/news/201710/908062.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g4/M04/A4/3E/120x90_0_autohomecar__wKgHy1nhbTWARnxvAAFH5HT1j6o152.jpg
褪去部分伪装 曝全新雅阁最新国内谍照 //www.autohome.com.cn/news/201710/908060.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g7/M07/A5/30/120x90_0_autohomecar__wKgHzlnhZH2ALG7WAAGLhtjpejM462.jpg
600马力？ Polestar品牌首款车型定名 //www.autohome.com.cn/news/201710/908061.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g11/M04/A4/DD/120x90_0_autohomecar__wKgH0lnhZHKAZQNsAAC_hS-TeTY446.jpg
改动较大 新款荣威360或于10月下旬上市 //www.autohome.com.cn/news/201710/908040.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g16/M15/A8/5D/120x90_0_autohomecar__wKjBx1nghgWAJN8gAAEHg_Ki_fA048.jpg
中华V3降9千 中国品牌小型SUV降价排行 //www.autohome.com.cn/news/201710/907981.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g14/M00/9F/38/120x90_0_autohomecar__wKgH1Vne1f6ASyJLAAGtxiYiB6w255.jpg
内饰更具质感 北京新款BJ40L最新谍照 //www.autohome.com.cn/news/201710/908052.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g9/M05/A6/1F/120x90_0_autohomecar__wKgH0Fnglv6AJBZxAAFd0K9OMdg767.jpg
91kWh/综合续航450km 比亚迪新款e6信息 //www.autohome.com.cn/news/201710/908057.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g14/M08/A2/E5/120x90_0_autohomecar__wKgH1Vng43SAfw7gAAEaXfhZn5E705.jpg
或配1.4T发动机 新款帝豪GL内饰谍照 //www.autohome.com.cn/news/201710/908051.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g10/M12/A3/D1/120x90_0_autohomecar__wKgH0Vngk6yAJiilAAFlL17TFLE837.jpg
开启预定 阿斯顿·马丁DB11敞篷版官图 //www.autohome.com.cn/news/201710/908055.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g17/M01/A2/47/120x90_0_autohomecar__wKjBxlngw6eAe1RyAAFsH2zBGkw462.jpg
或2018上市 东风雪铁龙将推智联网汽车 //www.autohome.com.cn/news/201710/908050.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g22/M0B/4F/37/120x90_0_autohomecar__wKgFW1ngkseAUPpKAAFHiS8KHco234.jpg
长城公告回应与宝马合作事宜：尚在探讨 //www.autohome.com.cn/news/201710/908049.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g19/M07/80/1C/120x90_0_autohomecar__wKjBxFnglSqAAxDbAAE664eVjqI086.jpg
最高降4000元 伽途ix5/ix7部分车型官降 //www.autohome.com.cn/news/201710/908047.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g21/M0A/7C/99/120x90_0_autohomecar__wKgFVVngjmuAbuDsAAHNdfbcovU135.jpg
将于10月16日上市 曝2018款荣威RX5消息 //www.autohome.com.cn/news/201710/908039.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g23/M09/85/F1/120x90_0_autohomecar__wKgFXFnghUGAL-rnAAE3n5NCL8E628.jpg
还是高田气囊 奔驰在华召回35万辆车 //www.autohome.com.cn/news/201710/908036.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g8/M0B/A4/F7/120x90_0_autohomecar__wKgHz1ngd_KAR1FrAAEgaKMKxBA251.jpg
商务MPV新秀 传祺GM8将于广州车展首发 //www.autohome.com.cn/news/201710/908033.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g7/M07/A4/22/120x90_0_autohomecar__wKgHzlngdWGAR_9RAAFi66c-EtE217.jpg
将于11月上市 比速T5 8AT内饰官图发布 //www.autohome.com.cn/news/201710/908032.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g16/M08/A9/FA/120x90_0_autohomecar__wKgH5lngcruAYnMEAAFJMSZD-mM436.jpg
将于11月上市 五菱宏光S3配置信息曝光 //www.autohome.com.cn/news/201710/908030.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g18/M06/A6/EB/120x90_0_autohomecar__wKjBxVngZwKAMWeZAAEfD75mzCs222.jpg
或售62.18万起 曝福特F-150猛禽将调价 //www.autohome.com.cn/news/201710/908028.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g4/M0C/AB/9A/120x90_0_autohomecar__wKgH2lngYMqAHB7rAAGHxSdjD84664.jpg
10月25日亮相 日产Serena NISMO官图 //www.autohome.com.cn/news/201710/908026.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g8/M0F/9F/44/120x90_0_autohomecar__wKjBz1ngWt2AMQ7tAAEpSCeuF8c847.jpg
售25.6万元起 宝马新款1系/2系正式上市 //www.autohome.com.cn/news/201710/908025.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g5/M13/A9/29/120x90_0_autohomecar__wKgH21ngVmCAHPZ3AAF7t5Sz3sI594.jpg
外观大变？ 全新一代奔驰B级谍照首曝 //www.autohome.com.cn/news/201710/908021.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g22/M06/4B/D2/120x90_0_autohomecar__wKjBwVngOPiAE7aOAAFARPvL3EQ486.jpg
多种动力 新奔驰A级2018日内瓦车展亮相 //www.autohome.com.cn/news/201710/908022.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g13/M10/AA/9B/120x90_0_autohomecar__wKgH41ngPj-AHUnaAAHP0KkpX2w048.jpg
补贴前售19.88万元 华骐300E正式上市 //www.autohome.com.cn/news/201710/908020.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g17/M12/9D/E3/120x90_0_autohomecar__wKgH2FngMU6AHrLdAAF4vOWMYOI409.jpg
外观内饰小升级 新款2系敞篷版国内谍照 //www.autohome.com.cn/news/201710/908017.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g21/M03/7B/51/120x90_0_autohomecar__wKgFVVngITOAKp7aAAEaERNNR0A417.jpg
定制打造/仅此2辆 迈凯伦MSO R官图发布 //www.autohome.com.cn/news/201710/908016.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g14/M09/A5/82/120x90_0_autohomecar__wKjByVngIsmAK_z9AAESf43VdNY163.jpg
11月14日亮相 全新英菲尼迪QX80预告图 //www.autohome.com.cn/news/201710/908015.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g16/M08/A2/12/120x90_0_autohomecar__wKgH11ngGf6ATLeSAAD0XNJ6tlw700.jpg
新款Ghibli Nerissimo车型明年1月上市 //www.autohome.com.cn/news/201710/908014.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g14/M0A/A8/77/120x90_0_autohomecar__wKgH5FngHCqAVZKWAAEri6YsWtc265.jpg
途胜N/KONA N 现代将打造高性能SUV车型 //www.autohome.com.cn/news/201710/908005.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g6/M07/A8/91/120x90_0_autohomecar__wKjB0VnfRd6ALJL6AAFeTo2t9Cg698.jpg
雅马哈新概念车将亮相10月25日东京车展 //www.autohome.com.cn/news/201710/908008.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g12/M00/9E/FE/120x90_0_autohomecar__wKgH01nfmhqAaXN5AAB7KsrP7kY224.jpg
顶级奢华 全新幻影10月15日国内上市 //www.autohome.com.cn/news/201710/908001.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g4/M0E/A1/35/120x90_0_autohomecar__wKgHy1nfOeaAXGD6AAEf5wN921I612.jpg
外观时尚 东风风光S560将于11月上市 //www.autohome.com.cn/news/201710/907972.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g20/M06/7E/26/120x90_0_autohomecar__wKjBw1ne-8-ABkOfAAESOldqlig583.jpg
德国不再接受订单 大众尚酷或正式停产 //www.autohome.com.cn/news/201710/908000.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g8/M0F/A2/F2/120x90_0_autohomecar__wKgHz1nfPq6AP4QOAAFd48nJufM226.jpg
转向系统缺陷 部分2017款探险者召回 //www.autohome.com.cn/news/201710/907992.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g7/M0E/A2/13/120x90_0_autohomecar__wKgHzlnfKneAFN1gAAExtn-Byuw971.jpg
售9.39万元 东风风行F600新车型上市 //www.autohome.com.cn/news/201710/907986.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g20/M06/7B/F9/120x90_0_autohomecar__wKgFVFnfJGCAIoTDAAFapJyUMaw753.jpg
推三种车型 依维柯Daily 11月4日上市 //www.autohome.com.cn/news/201710/907985.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g7/M05/A1/E2/120x90_0_autohomecar__wKgHzlnfGZuAdckXAADOIJ2lfYA972.jpg
2017年9月国内热销SUV/轿车/MPV排行榜 //www.autohome.com.cn/news/201710/907984.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g4/M0D/A9/A2/120x90_0_autohomecar__wKgH2lnfF56ACftlAAFN7xUs2r4784.jpg
售12.69-13.39万元 风行CM7手动挡上市 //www.autohome.com.cn/news/201710/907983.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g17/M12/A2/20/120x90_0_autohomecar__wKgH51nfFrWAPDioAAFjgd_SuJE320.jpg
售10.58-16.58万元 众泰Z700H正式上市 //www.autohome.com.cn/news/201710/907888.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g20/M09/7B/CA/120x90_0_autohomecar__wKgFVFnfFdqAalasAAE50kbvu3w713.jpg
售23.98-33.48万元 新款森林人正式上市 //www.autohome.com.cn/news/201710/907980.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g23/M08/7F/FB/120x90_0_autohomecar__wKjBwFnfDg2ALyn3AADzlcfYorc910.jpg
国产MINI？ 宝马/长城合作最新消息曝光 //www.autohome.com.cn/news/201710/907976.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g19/M05/7E/CC/120x90_0_autohomecar__wKjBxFngJVmAJ0ofAADLrdxV02c781.jpg
10月31日上市 曝新款陆风X7更多信息 //www.autohome.com.cn/news/201710/907975.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g16/M11/A5/AA/120x90_0_autohomecar__wKjBx1nfAjeAK1guAAFxslhnBv8563.jpg
配置升级 2018款海马S5 10月26日上市 //www.autohome.com.cn/news/201710/907974.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g14/M0D/A6/FA/120x90_0_autohomecar__wKgH5Fne_JGAA5cOAAEzh5fWuoo679.jpg
10月15日上市 曝铃木启悦Pro更多消息 //www.autohome.com.cn/news/201710/907971.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g8/M07/A2/3A/120x90_0_autohomecar__wKgHz1ne8zmAPqfDAAEaHP59g08906.jpg
售18.48-27.08万元 2018款翼虎正式上市 //www.autohome.com.cn/news/201710/907970.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g22/M06/4A/E1/120x90_0_autohomecar__wKgFW1ne8dOAS-BEAAGRaS3IB_k686.jpg
售24.98-44.98万 2018款锐界正式上市 //www.autohome.com.cn/news/201710/907965.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g17/M09/A1/B9/120x90_0_autohomecar__wKgH51ne6S-AWAlEAAFxUDbSReU081.jpg
补贴前售21.28万起 东风风神E70上市 //www.autohome.com.cn/news/201710/907969.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g4/M10/A6/68/120x90_0_autohomecar__wKjB01ne6I-ATVDVAAFIBdK2-XE974.jpg
搭互联智行系统 名爵6将于11月3日上市 //www.autohome.com.cn/news/201710/907967.html#pvareaid=102624
//www2.autoimg.cn/newsdfs/g5/M0D/9F/97/120x90_0_autohomecar__wKgHzFne5TCASxOTAADCq2QuyHs907.jpg
定位中型SUV/12月上市 君马S70官图发布 //www.autohome.com.cn/news/201710/907966.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g17/M10/9E/F1/120x90_0_autohomecar__wKjBxlne5HyAZAxOAAEf8i6n_D0436.jpg
FCA官方否认出售Jeep 法拉利将推出SUV //www.autohome.com.cn/news/201710/907964.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g19/M10/79/FC/120x90_0_autohomecar__wKgFU1ne4VCAfvsEAACuxRycfog112.jpg
售26.78-43.08万 2018款蔚揽正式上市 //www.autohome.com.cn/news/201710/907953.html#pvareaid=102624
//www3.autoimg.cn/newsdfs/g22/M00/49/F6/120x90_0_autohomecar__wKgFW1neR6aAflecAAFiwj8oeJo211.jpg

 

转载于:https://www.cnblogs.com/robinunix/p/7703990.html