爬虫基础-爬取汽车之家新闻

最新推荐文章于 2024-11-09 18:20:30 发布

weixin_30765577

最新推荐文章于 2024-11-09 18:20:30 发布

阅读量134

点赞数

文章标签：爬虫 python

原文链接：http://www.cnblogs.com/BeautifulRay/p/9262366.html

版权

使用Requests&BeautifulSoup获取汽车之家新闻

import requests
from bs4 import BeautifulSoup
#下载页面
ret = requests.get(
    url="https://www.autohome.com.cn/news/"
)
ret.encoding = ret.apparent_encoding
# print(ret.text)
#页面解析，获取指定内容
soup = BeautifulSoup(ret.text,'html.parser')
div = soup.find(name='div',id='auto-channel-lazyload-article')
li_list = div.find_all(name='li')
for li in li_list:
    h3 = li.find(name='h3')
    if not h3:
        continue
    # print(h3.text,"\t")
    p = li.find(name='p')
    a = li.find(name='a')
    # print(a.attrs)
    print(h3.text,a.get('href'))
    print(p.text)

    img = li.find('img')
    src = img.get('src')

    file_name = src.rsplit('__',maxsplit=1)[1]
    print(file_name)
    print('=' * 100)
    ret_img = requests.get(
        url= 'https:'+src
    )
    with open(file_name,'wb') as f:
        f.write(ret_img.content)

爬虫基础笔记

requests & BeautifulSoup

a.伪造浏览器向某个地址发送Http请求，获取返回的字符串

　　pip3 install requests

　　response = requests.get(url='url')

　　response.encoding = apparent_encoding

　　response.content 　　　　#content返回的是bytes，二级制型的数据

　　response.text 　　　　　 #text 返回的是unicode 型的数据，一般是在网页的header中定义的编码形式

　　#也就是说你如果想要提取文本就用text，但是如果你想要提取图片、文件，就要用到content

b. bs4,解析HTML格式的字符串

　　pip3 install beautifulsoup4

　　soup = BeautifulSoup('<html>....</html>',"html.parser")　