ptython3+mysql爬虫抓取新浪新闻

南宫米奇

于 2017-06-02 15:09:59 发布

阅读量1.2k

点赞数

分类专栏： python 文章标签： python 爬虫 mysql

本文链接：https://blog.csdn.net/hacker2025/article/details/72844531

版权

本文介绍了使用Python3进行网络爬虫抓取新浪新闻的步骤，包括安装requests和BeautifulSoup4库来解析网页，以及利用pymysql安装数据库进行数据存储。

摘要由CSDN通过智能技术生成

一、安装套件

1、pip install requests

2、pip install BeautifulSoup4

二、剖析网页元素

soup = BeautifulSoup(reshtml,'html.parser').select('.news-item')

三、安装数据库

1、pip install pymysql

四、python爬虫示例

from bs4 import BeautifulSoup
import requests
import pymysql
import logging
import json
import re

def getnewsinfo(url):
    res = requests.get(url)

关注

专栏目录