python爬虫学习（第一爬）

爬取豆瓣电影Top250

用python爬取的原因是库函数较多，比较方便。

首先下载爬虫需要的库函数

pip3 install requests
pip3 install lxml
pip3 install BeautifulSoup

豆瓣Top250的url=https://movie.douban.com/top250

ctrl+u可以查看页面源代码，也可以右键点击检查（如图）

首先先获取页面源代码

import requests
import time
from requests.api import head
from lxml import etree
url = "https://movie.douban.com/top250"
headers = {
    "user-agent":"Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:90.0) Gecko/20100101 Firefox/90.0"
}
resp = requests.get(url,headers=headers).text
print(resp)

headers从User-Agent获取

User-Agent

User-Agent的内容包含发出请求的用户信息，告诉HTTP服务器， 客户端使用的操作系统和浏览器的名称和版本。

获取方法如图

 观察页面源代码可知 ：每个影片 对应一个标签<li>

 获取具体信息

首先复制<li>标签的xpath

/html/body/div[3]/div[1]/div/div[1]/ol/li[1]

由于要获取所有的影片  将li[1]改为li

html = etree.HTML(resp)
lis = html.xpath("/html/body/div[3]/div[1]/div/div[1]/ol/li")

交给etree去解析  此时lis得到的是一个列表

现在要获取影片的标题  同样要得到其xpath

/html/body/div[3]/div[1]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[1]

将与之前重复的去掉      用./表示    获取其文本text()  获取其列表第一个元素即可

title = li.xpath("./div/div[2]/div[1]/a/span[1]/text()")[0]

同理可得

title = li.xpath("./div/div[2]/div[1]/a/span[1]/text()")[0]
year = li.xpath("./div/div[2]/div[2]/p[1]/text()")[1].strip().split("/")[0]
rating_num = li.xpath("./div/div[2]/div[2]/div/span[2]/text()")[0]
score = li.xpath("./div/div[2]/div[2]/div/span[4]/text()")[0]
herf  = li.xpath("./div/div[1]/a/@href")[0]

年份这么写的原因是  年份是它获取列表的第二个元素    

Python strip() 方法用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列。

注意：该方法只能删除开头或是结尾的字符，不能删除中间部分的字符。

split是用来分割  并获取分割的第一个元素

由于一个页面只有15个影片  因此url需要动态修改  观察url的规律即可写

for a in range(10):
    url = "https://movie.douban.com/top250?start={}&filter=".format(a*25)

之后做一些文件的追加处理即可写入文件中

最终源代码：

# -*- coding:UTF-8 -*-
from bs4 import BeautifulSoup
import requests
import time
from requests.api import head
from lxml import etree
for a in range(10):
    url = "https://movie.douban.com/top250?start={}&filter=".format(a*25)
    headers = {
        "user-agent":"Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:90.0) Gecko/20100101 Firefox/90.0"
    }
    resp = requests.get(url,headers=headers).text

    html = etree.HTML(resp)

    lis = html.xpath("/html/body/div[3]/div[1]/div/div[1]/ol/li")

    for li in lis:
        title = li.xpath("./div/div[2]/div[1]/a/span[1]/text()")[0]
        year = li.xpath("./div/div[2]/div[2]/p[1]/text()")[1].strip().split("/")[0]
        rating_num = li.xpath("./div/div[2]/div[2]/div/span[2]/text()")[0]
        score = li.xpath("./div/div[2]/div[2]/div/span[4]/text()")[0]
        herf  = li.xpath("./div/div[1]/a/@href")[0]
        print(title,year,rating_num,score,herf)


        with  open('sample/bookname.txt','a') as f:#写入文件中，文件默认和python文件同一级目录
                f.write("{}         {}          {}          {}          {}".format(title,year,rating_num,score,herf))
                f.write("\n\n")
        time.sleep(0.1)
f.close()
print("下载成功")

哦，对了，还要注意编码的问题，charset=utf-8  找这个就好了