爬虫学习之11:爬取豆瓣电影TOP250并存入数据库

     本次实验主要测试使用PyMySQL库写数据进MySQL,爬取数据使用XPATH和正则表达式,在很多场合可以用XPATH提取数据,但有些数据项在网页中没有明显特征,用正则表达式反而反而更轻松获取数据。直接上代码:

from lxml import etree
import requests
import re
import pymysql
import time

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36'
}
conn = pymysql.connect(host='localhost',user='root',passwd='123456',db='crawl',port=3306,charset='utf8')
cursor = conn.cursor()


def get_movie_url(url):
    html = requests.get(url,headers=headers)
    selector = etree.HTML(html.text)
    movie_hrefs = selector.xpath('//div[@class="hd"]/a/@href')
    for movie_href in movie_hrefs:
        get_movie_info(movie_href)

def get_movie_info(url):
    html = requests.get(url,headers=headers)
    selector = etree.HTML(html.text)
    try:
        movie_name = selector.xpath('//*[@id="content"]/h1/span[1]/text()')[0]
        director = selector.xpath('//*[@id="info"]/span[1]/span[2]/a/text()')[0]
        actors = selector.xpath('//span[@class="actor"]/span[2]')[0]
        actor = actors.xpath('string(.)')
        style = re.findall('<span property="v:genre">(.*?)</span>',html.text,re.S)[0]
        country = re.findall('制片国家/地区:</span>(.*?)<br/>', html.text, re.S)[0]
        release_time = re.findall('上映日期:</span>.*?>(.*?)</span>',html.text,re.S)[0]
        time = re.findall('片长:</span>.*?>(.*?)</span>',html.text,re.S)[0]
        score = selector.xpath('//*[@id="interest_sectl"]/div[1]/div[2]/strong/text()')[0]
        cursor.execute(
            "insert into doubanmovie (movie_name,director,actor,style,country,release_time,time,score) values (%s,%s,%s,%s,%s,%s,%s,%s)",
            (str(movie_name),str(director),str(actor),str(style),str(country),str(release_time),str(time),str(score))
        )
    except IndexError:
        pass
if __name__ =='__main__':
        urls = ['https://movie.douban.com/top250?start={}&filter='.format(str(i)) for i in range(0,250,25)]
        for url in urls:
            get_movie_url(url)
            time.sleep(2)
        conn.commit()
        conn.close()

结果已经存入mySQL数据库:


  • 0
    点赞
  • 24
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
以下是使用Python和MySQL数据库豆瓣电影top250的电影数据并存入数据库的示例代码: ``` import requests from bs4 import BeautifulSoup import pymysql # 建立数据库连接 db = pymysql.connect(host='localhost', user='root', password='password', database='douban', port=3306) # 获网页内容 def get_html(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299' } response = requests.get(url, headers=headers) if response.status_code == 200: return response.text else: return None # 解析网页内容 def parse_html(html): soup = BeautifulSoup(html, 'html.parser') movie_items = soup.find_all('div', class_='item') for item in movie_items: # 获电影名称 name = item.find('span', class_='title').get_text() # 获电影评分 rating = item.find('span', class_='rating_num').get_text() # 获电影导演和演员信息 info = item.find('div', class_='bd').p.get_text().strip().split('\n') # 获电影上映年份和国家 year_and_country = info[1].strip().split('/') year = year_and_country[0].strip() country = year_and_country[1].strip() # 获电影类型 genres = info[0].strip() # 获电影描述 description = item.find('span', class_='inq').get_text() if item.find('span', class_='inq') else '' # 将电影信息存入数据库 cursor = db.cursor() sql = "INSERT INTO movies(name, rating, year, country, genres, description) VALUES('{}', '{}', '{}', '{}', '{}', '{}')".format(name, rating, year, country, genres, description) cursor.execute(sql) db.commit() # 程序入口 if __name__ == '__main__': for i in range(0, 250, 25): url = 'https://movie.douban.com/top250?start={}&filter='.format(i) html = get_html(url) parse_html(html) # 关闭数据库连接 db.close() ``` 在这个示例中,我们使用requests库发送HTTP请求,并使用BeautifulSoup库解析HTML响应。我们将电影信息存储在MySQL数据库中,使用pymysql库连接到数据库并执行SQL语句。最后,我们循环遍历每一页的电影列表,并将每个电影的信息存储到数据库中。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值