python url编码_python实现简单爬虫

前段时间将python的基础写在了头条号里面，最近一段时间在研究前端知识和laravel框架，把python的代码放了，今天不忙写了一个简单的爬虫。下面是代码(基于3.7版本)：

Python

# -*- coding: UTF-8 -*-import requestsfrom bs4 import BeautifulSoupimport pymysql# 初始化方法def start_method():    get_url = set_path()    print(get_url)  # 基础信息设置，拼合 urldef set_path():    # 基础url链接    base_url = 'http://dl.sll.cn/major/'    # 定义链接组    url_array = []    # 设置起始点    start_num = 1    # 设置终点    end_num = 10000    # 循环生成url链接    for i in range(start_num, end_num):        # 拼接完整url        url = base_url + str(i) + '.html'        url_array.append(url)    return url_array    # print(url_array)# 获取 html # 获取内容并写入库def start():    # 获取拼合后的url链接    url_array = set_path()    for url in url_array:        # 获取链接的信息(状态码、url、头信息、cookie、源码等)        content = requests.get(url)        # 设置编码格式        content.coding = 'UTF-8'        # 以文本形式获取源码        content_text = content.text        # 利用解析器进行解析操作        article = BeautifulSoup(content_text)        # 标题        title = article.title.string        # 写入数据库        mysql_connect(title, url)  # 连接数据库def mysql_connect(title, url):    con = pymysql.connect(            # 数据库地址            host='127.0.0.1',            # 端口            port=3306,            # 用户名            user='root',            # 密码            password='shenlin',            # 数据库名称            database='school',            # 编码设置            charset='utf8'        )    # 得到连接光标    connect = con.cursor()    # 书写 SQL 语句    sql = 'INSERT INTO test(title, url) VALUES("%s","%s")' % (title, url)    # 执行SQL，并获取结果    res = connect.execute(sql)    # 关闭数据库连接    connect.close()    con.close()     if res:        print(url + '------> 写入成功')    else:        print(url + '------> 写入失败')  # 初始化调用方法start()