爬取猫眼top100电影并存储在mysql中

import requests
from bs4 import BeautifulSoup
import pymysql

print("连接到mysql服务器...")
db = pymysql.connect("127.0.0.1", "root", "1234", charset="utf8")
print("连接成功!")
# 数据的游标
cursor = db.cursor()
# 选择数据库
cursor.execute("use test")
#计数
num = 0

# 网页请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.89 Safari/537.36 OPR/49.0.2725.47'}
url = "http://maoyan.com/board/4?offset="

for i in range(0, 100, 10):  # 从0开始,每次增加10,到100结束,不包括100
    url = "http://maoyan.com/board/4?offset=" + str(i)
    # 发送get请求
    r = requests.get(url, headers=headers)
    # 获取文本
    content = r.text
    soup = BeautifulSoup(content, 'lxml')

    div_name = soup.find_all(class_='name')  # 找出所有电影的名字
    div_star = soup.find_all(class_='star')  # 找出所有电影的主演
    div_time = soup.find_all(class_='releasetime')  # 找出所有电影的上映时间
    div_score = soup.find_all(class_='score')  # 找出所有电影的评分

    long = len(div_name)

    for i in range(0, long):
        num = num + 1
        number = str(num)
        name = div_name[i].get_text()
        actor = div_star[i].get_text()
        date = div_time[i].get_text()
        score = div_score[i].get_text()
        #插入数据
        insert_name = ("insert into maoyantop100(num,name,actor,date,score)" "values(%s,%s,%s,%s,%s)")
        data = (number,name,actor,date,score)
        cursor.execute(insert_name, data)
        db.commit()
        print("第 "+ str(num) +" 条插入完成")




  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值