mysql 两列_利用python爬取微博热搜，并保存在mysql中。

功能描述：

爬取微博热搜，并保存在mysql中。

输入：微博搜索-热搜榜

输出：热搜内容

技术路线：爬取部分（requests库+bs4）-写入mysql部分（pymysql）

定向爬取： 仅针对输入url进行爬取，不拓展爬取。

第一部分：爬取部分

import requests
from bs4 import BeautifulSoup as bs
def getHTMLText(url):
    try:
        kv2 = {'User-agent':'Mozilla/6.0'} 
        r = requests.get(url,timeout=30,headers = kv2)
        r.raise_for_status() #如果状态不是200，引发HTTPError异常。
        r.encoding = r.apparent_encoding #从内容中分析，修正代码的编码方式。
        return r.text
    except:
        return "产生异常"
get_text = getHTMLText("https://s.weibo.com/top/summary")
read_text=bs(get_text,"lxml")
#print(read_text)

for tr in read_text.find_all("tr", class_=""):
    print(tr.a.string)

输出内容：(4-15 23:44）

全民国家安全教育日
李子维黄雨萱一起看伍佰演唱会
李兰娟回应五一能否出去玩
感受生活新脉动
哈尔滨疑似感染源韩某为女性
王俊凯王源易烊千玺同时更博
陈伟霆隔离结束晒猫
...等等

第二部分：写入mysql部分

学习参考部分：https://www.cnblogs.com/woider/p/5926744.html

完整代码：

import requests
from bs4 import BeautifulSoup as bs
import pymysql.cursors
news=[]


def getHTMLText(url):
    try:
        kv2 = {'User-agent':'Mozilla/6.0'} 
        r = requests.get(url,timeout=30,headers = kv2)
        r.raise_for_status() #如果状态不是200，引发HTTPError异常。
        r.encoding = r.apparent_encoding #从内容中分析，修正代码的编码方式。
        return r.text
    except:
        return "产生异常"


get_text = getHTMLText("https://s.weibo.com/top/summary")


read_text=bs(get_text,"lxml")


for tr in read_text.find_all("tr", class_=""):
    news.append(tr.a.string)
news_2=list(zip(news,news))#大家可以提取其他信息，比如热度，我懒的提取了。

# 连接数据库
conn = pymysql.connect(host='localhost', #这里均按照自己的数据库进行配置。
                       user='root',
                       password='123456',
                       db='study_1', #这里修改为自己的数据库
                       charset='utf8')

# 创建一个游标
cursor = conn.cursor()


# 数据单独赋给一个对象(我的表名叫"weibo",一共就两列，不限定文本内容。）
sql = "insert into weibo values(%s,%s)" 
for data in news_2:
    cursor.execute(sql, data)  #sql和data之间以","隔开


conn.commit()   # 提交，不然无法保存插入或者修改的数据(这个一定不要忘记加上)
cursor.close()  # 关闭游标
conn.close()  # 关闭连接

输出结果：