python爬虫伪装成浏览器抓取数据

闲来随笔

from  urllib import request
from bs4 import BeautifulSoup
# 空格符替换
def replace(content):
    str=''
    for i in content:
        if i != ' ':
            str+=i
    return str
if __name__=="__main__":
    # 伪装成浏览器登录，通过设置User_Agent，将其存放到Headers中，网站服务器通过User_Agent进行判断是谁在登录访问该网页
    head = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:83.0) Gecko/20100101 Firefox/83.0"
    }
    # 访问的网页地址
    url="https://movie.douban.com/top250?format=text";
    # content=input("请输入你想搜索的信息，将从baidutieba返回")
    # 拼装全量地址
    fullHtml= url# +content
    # 伪装浏览器访问
    req=request.Request(fullHtml,headers=head)
    # 打开网页接收内容
    res=request.urlopen(req)
    # 读取网页内容
    html=res.read()
    # 读取网页信息
    # print(res.info())
    # 网页信息字节码转译
    html=html.decode("utf-8")
    # 使用BeautifulSoup从网页抓取数据
    soup = BeautifulSoup(html, "html.parser")
    # 循环抓取内容(抓取div 属性名为pic 的所有内容)
    # 开始使用BeautifulSoup进行标签分析，find_all方法是找到所有此标签的内容，然后在在此标签中继续寻找，
    # 如果标签有特殊的属性声明则一步就能找出来，如果没有特殊的属性声明就像此图中的评价人数前面的标签只有一个‘span’
    # 那么就找到所有的span标签，按顺序从中选相对应的，在此图中是第三个，所以这种方法可以找特定行或列的内容。
    for tag in soup.find_all("div", class_="item"):
        m_movie_level= tag.find("div",class_="pic")
        # 电影链接
        print(m_movie_level.find('a').get('href'))
        # 电影图片链接
        print(m_movie_level.find('a').find("img")["src"])
        # 电影排名
        print(m_movie_level.find('em').get_text())
        # 获取电影详细信息
        # 获取div
        m_movie_info_hd= tag.find("div",class_="info").find("div",class_="hd")
        # 获取div下面所有的span信息
        m_movie_info_hd_span=m_movie_info_hd.findAll("span");
        # 获取电影名称
        print(m_movie_info_hd_span[0].contents[0]);
        # 获取电影相关备注信息
        print(m_movie_info_hd_span[1].contents[0]+m_movie_info_hd_span[2].contents[0]);
        # 获取导演以及主演
        m_movie_info_hd = tag.find("div", class_="info").find("div", class_="bd")
        # 获取导演以及主演
        m_movie_info_hd_class = m_movie_info_hd.findAll("p");
        print(replace(m_movie_info_hd_class[0].contents[0]));
        #获取评价
        m_movie_info_hd_star= m_movie_info_hd.find("div",class_="star").findAll("span");
        print(replace(m_movie_info_hd_star[1].contents[0]))
        # 影评
        m_movie_info_hd_cri = m_movie_info_hd.find("p",class_="quote").get_text()
        print(replace(m_movie_info_hd_cri));