【Python】【爬虫】爬取网易、腾讯、新浪、搜狐新闻到本地

这个实验主要爬取新闻网站首页的新闻内容保存到本地,爬取内容有标题、时间、来源、评论数和正文。
工具:python 3.6 谷歌浏览器
爬取过程:

一、安装库:urllib、requests、BeautifulSoup

1、urllib库:Urllib是python内置的HTTP请求库。用这个库可以用python请求网页获取信息。
主要用到的函数:

       data = urllib.request.urlopen(qurl).read() 
        #qurl为网页的网址,利用这个函数可以获取该网页的内容data

2、requests库:requests是python实现的简单易用的HTTP库,使用起来比urllib简洁很多。这个实验我两个库都用了,作用类似。

    data = requests.get(url).text

3、BeautifulSoup库
当我们通过上面两个库获得了网页的数据的时候,我们需要从数据中提取我们想要的,这时BeautifulSoup就派上了用场。BeautifulSoup可以为我们解析文档,抓取我们想要的新闻标题、正文内容等。
4、re 库
正则表达式的库,正则表达式大家都明白的。

二、爬取新闻首页,得到所有要爬取新闻的链接

因为新闻首页首页只有新闻的标题,新闻的具体信息要点进标题链接进入另一个网页查看。所以我们首先要在新闻首页把所有要爬取新闻的链接保存到一个txt文件里。先上代码再解释。

def getQQurl(): #获取腾讯新闻首页的所有新闻链接
    url = "http://news.qq.com/"

    urldata = requests.get(url).text

    soup = BeautifulSoup(urldata, 'lxml')

    news_titles = soup.select("div.text > em.f14 > a.linkto")

    fo = open("D:/news/QQ链接.txt", "w+")  # 创建TXT文件保存首页所有链接

    # 对返回的列表进行遍历写入文件
    for n in news_titles:
        title = n.get_text()
        link = n.get("href")
        fo.writelines(link + "\n")
    fo.close()

函数的前两行代码前面已经解释了,就解释一下三四行代码吧。

soup = BeautifulSoup(wbdata, ‘lxml’) #解析获取的文件,解析器为lxml

news_titles = soup.select(“div.text > em.f14 > a.linkto”)
分析新闻网页源代码的时候我们可以发现,首页新闻的链接大多数在图片中的地方
这里写图片描述
由此我们可以利用soup.select()把所有 标签div.text > em.f14 > a.linkto对应的数据挑选出来,因此是一个列表。再用get(“herf”)把链接挑选出来,写在TXT文件里面。
这里写图片描述
一般新闻网站首页的新闻链接按板块不同在源代码中的标签也不同,挑选规则也不同。如果想挑选多个板块的新闻的话可以多写几种规则。

三、根据链接文件依次爬取每个链接对应的新闻数据

当把所有新闻的链接写在一个文件后,我们剩下要做的就是循环读取每个链接,利用第二步得到链接类似的办法得到新闻的相关数据。
分析新闻的网页源代码我们可以发现,标题都放在title标签下,而正文内容都在p标签下,由此我们可以用
content = soup.select(‘p’) # 选择正文内容
title = soup.select(‘title’) # 选择标题 将它们挑选出来,时间和来源等信息可以用类似的方法挑选。
当这些信息被挑选出来后,它们都是以列表的形式,所以我们要将它们依次写入文件,整体代码如下。
这里写图片描述
这里写图片描述

def getqqtext():
    qqf = open("D:/news/QQ链接.txt", "r")
    qqurl = qqf.readlines()  # 读取文件,得到一个链接列表
    i = 0

    # 遍历列表,请求网页,筛选出正文信息
    for qurl in qqurl:
        try:
            data = urllib.request.urlopen(qurl).read()
            data2 = data.decode("gbk", "ignore")

            soup = BeautifulSoup(data2, "html.parser")  # 从解析文件中通过select选择器定位指定的元素,返回一个列表

            content = soup.select('p')  # 选择正文内容
            title = soup.select('title')  # 选择标题
            time = soup.select('div.a_Info > span.a_time')
            author = soup.select('div.a_Info > span.a_source')

            # 将得到的网页正文写进本地文件
            if (len(time) != 0):
                fo = open("D:/news/新闻/腾讯" + str(i) + ".txt", "w+")

                if (len(title) != 0):
                    fo.writelines("      " + title[0].get_text().strip() + "\n")
                fo.writelines("时间:"+time[0].get_text().strip() + "\n")
                fo.writelines("评论数: 0" + "\n")
                if (len(author) != 0):
                    fo.writelines("来源:"+author[0].get_text() + '\n'+ "\n")

                # print(title[0].get_text())
                # print(time[0].string)
                # print(author[0].get_text()
                for m in range(0, len(content)):
                    con = content[m].get_text().strip()
                    if (len(con) != 0):
                        fo.writelines("\n" + con)
                    m += 1
                fo.close()

        except Exception as err:
            print(err)

        i += 1

四、其他网站特殊的情况

网易新闻有一个新闻排行榜,我直接爬了这个排行榜,里面按类别划分新闻,有跟帖排行,评论排行,分析网页的源代码很有意思,可以尝试把跟帖数和评论数爬下来。代码在后面。
新浪新闻的评论数是动态数据,分析网页源代码无法找到这个数据,所以我利用谷歌浏览器的开发者工具分析动态数据(具体方法可看网上教程),得到了新浪存放评论数的网页,好像是用PHP写的用beautifulsup提取不出来,所以我用了re,提取里面的top_num(热点数)和链接。值得注意的是,这个网页的链接给得很奇葩,不是标准格式,类似http:\/\/ent.sina.com.cn\/m\/v….所以还是要转换一下,具体就不细讲了,可以看代码。
这里写图片描述

五、总结

所以整个过程大概就三个步骤,其它几个网站也适用。重点是要去分析网页源代码,不同的网页不同数据在源代码的位置不同,根据不同的规则利用soup.select()就可以灵活操作。网上也有一些常用网站该怎么爬取的规则,可以参考一下。

六、完整代码

可运行,需要自己改一下路径,只有两个文件夹,D:/news D:/news/新闻

import json
import os
import requests
from bs4 import BeautifulSoup
import urllib.request
import re
import io
import sys
from urllib.parse import quote
import codecs
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf8')

# 函数功能:得到网易新闻
def get163news():

    url = "http://news.163.com/rank/"  # 请求网易新闻的URL,获取其text文本
    wbdata = requests.get(url).text        # 对获取到的文本进行解析
    soup = BeautifulSoup(wbdata, 'lxml')    # 创建一个beautifulsoup对象
    news_titles = soup.select("td  a")      # 从解析文件中通过select选择器定位指定的元素,返回一个列表
    comment = soup.select("td.cBlue")  #获取网页内容的步骤对应其它网页相同,不予赘述

    # 循环链接列表将获取到的标题、时间、来源、评论、正文写进txt文件

    start = 3
    i = 30
    n = 30
    for strat in range(30,500):
        for n in range(start, start + 29):
            link = news_titles[n].get("href")
            try:
                neteasedata = urllib.request.urlopen(link).read()
                neteasedata2 = neteasedata.decode("gbk", "ignore")

                soup = BeautifulSoup(neteasedata2, "html.parser")

                content = soup.select('p')
                title = soup.select('title')
                time = soup.select('div.post_time_source')
                author = soup.select('div.post_time_source > a.ne_article_source')

                if (len(time) != 0):
                    fo = open("D:/news/新闻/网易" + str(i) + ".txt", "w+")
                    if (len(title) != 0):
                        fo.writelines("      " + title[0].get_text().strip() + "\n")
                    fo.writelines("时间:" + time[0].get_text().strip() + "\n")
                    fo.writelines("评论数: " + comment[i].get_text() + "\n" )
                    if (len(author) != 0):
                        fo.writelines(author[0].get_text() + '\n')

                    # print(title[0].get_text())
                    # print(time[0].string)
                    # print(author[0].get_text()
                    for m in range(2, len(content)):
                        try:
                            con = content[m].get_text().strip()
                            if (len(con) != 0):
                                fo.writelines("\n" + con)

                        except Exception as err:
                            print(err)
                        m += 1
                    fo.close()
            except Exception as err:
                print(err)

            i += 1
            n += 1
        start += 60
        n = start
        i = start
        if(start > 270):
            break

# 函数功能:得到腾讯新闻首页所有新闻链接
def getQQurl():
    url = "http://news.qq.com/"

    wbdata = requests.get(url).text

    soup = BeautifulSoup(wbdata, 'lxml')

    news_titles = soup.select("div.text > em.f14 > a.linkto")

    fo = open("D:/news/QQ链接.txt", "w+")  # 创建TXT文件保存首页所有链接

    # 对返回的列表进行遍历
    for n in news_titles:
        title = n.get_text()
        link = n.get("href")
        fo.writelines(link + "\n")
    fo.close()


# 函数功能:根据获取的链接依次爬取新闻正文并保存到本地
def getqqtext():
    qqf = open("D:/news/QQ链接.txt", "r")
    qqurl = qqf.readlines()  # 读取文件,得到一个链接列表
    i = 0

    # 遍历列表,请求网页,筛选出正文信息
    for qurl in qqurl:
        try:
            data = urllib.request.urlopen(qurl).read()
            data2 = data.decode("gbk", "ignore")

            soup = BeautifulSoup(data2, "html.parser")  # 从解析文件中通过select选择器定位指定的元素,返回一个列表

            content = soup.select('p')  # 选择正文内容
            title = soup.select('title')  # 选择标题
            time = soup.select('div.a_Info > span.a_time')
            author = soup.select('div.a_Info > span.a_source')

            # 将得到的网页正文写进本地文件

            fo = open("D:/news/新闻/腾讯" + str(i) + ".txt", "w+")

            if (len(title) != 0):
                fo.writelines("      " + title[0].get_text().strip() + "\n")
                if(len(time)!=0):
                    fo.writelines("时间:"+time[0].get_text().strip() + "\n")
                if (len(author) != 0):
                    fo.writelines("来源:"+author[0].get_text() + '\n'+ "\n")

                # print(title[0].get_text())
                # print(time[0].string)
                # print(author[0].get_text()
                for m in range(0, len(content)):
                    con = content[m].get_text().strip()
                    if (len(con) != 0):
                        fo.writelines("\n" + con)
                    m += 1
                fo.close()

        except Exception as err:
            print(err)

        i += 1

#函数功能:得到搜狐新闻首页所有新闻链接
def getsohuurl():
    url = "http://news.sohu.com/"
    wbdata = requests.get(url).text
    soup = BeautifulSoup(wbdata, 'lxml')

    news_titles = soup.select("div.list16 > ul > li > a")

    fo = open("D:/news/sohu链接.txt", "w+")

    for n in news_titles:
        title = n.get_text()
        link = n.get("href")
        fo.writelines(link + "\n")

    fo.close()


# 函数功能:根据获取的搜狐新闻链接依次爬取新闻正文并保存到本地
def getsohutext():
    sohuf = open("D:/news/sohu链接.txt", "r")
    sohuurl = sohuf.readlines()
    i = 0
    for sohuu in sohuurl:
        try:
            sohudata = urllib.request.urlopen(sohuu).read()
            sohudata2 = sohudata.decode("utf-8", "ignore")

            soup = BeautifulSoup(sohudata2, "html.parser")

            content = soup.select('p')
            title = soup.select('title')
            time = soup.select('div.article-info > span.time')
            author = soup.select('div.date-source > span.original-link')

            if (len(time) != 0):
                fo = open("D:/news/新闻/搜狐" + str(i) + ".txt", "w+")
                if (len(title) != 0):
                    fo.writelines( "      " + title[0].get_text().strip() + "\n")
                fo.writelines("时间:" + time[0].get_text().strip() + "\n")
                fo.writelines("评论数: 0" + "\n" + "\n")
                if (len(author) != 0):
                    fo.writelines(author[0].get_text() + '\n')

                # print(title[0].get_text())
                # print(time[0].string)
                # print(author[0].get_text()
                for m in range(0, len(content)):
                    con = content[m].get_text().strip()
                    if (len(con) != 0):
                        fo.writelines("\n"  + con)
                    m += 1

                fo.close()

        except Exception as err:
            print(err)

        i += 1

#函数功能:得到新浪新闻首页所有新闻链接
def getsinaurl():
    url = ['http://top.news.sina.com.cn/ws/GetTopDataList.php?top_type=day&top_cat=qbpdpl&top_time=20180715&top_show_num=100&top_order=DESC&js_var=comment_all_data',
    'http://top.news.sina.com.cn/ws/GetTopDataList.php?top_type=day&top_cat=www_www_all_suda_suda & top_time=20180715&top_show_num=100&top_order=DESC&js_var=all_1_data01',
    'http://top.collection.sina.com.cn/ws/GetTopDataList.php?top_type=day&top_cat=wbrmzf_qz&top_time=20180715&top_show_num=10&top_order=DESC&js_var=wbrmzf_qz_1_data&call_back=showContent',
    'http://top.news.sina.com.cn/ws/GetTopDataList.php?top_type=day&top_cat=total_slide_suda&top_time=20180715&top_show_num=100&top_order=DESC&js_var=slide_image_1_data',
    'http://top.news.sina.com.cn/ws/GetTopDataList.php?top_type=day&top_cat=wbrmzfgwxw&top_time=20180715&top_show_num=10&top_order=DESC&js_var=wbrmzfgwxw_1_data&call_back=showContent',
     'http://top.news.sina.com.cn/ws/GetTopDataList.php?top_type=day&top_cat=news_china_suda&top_time=20180715&top_show_num=20&top_order=DESC&js_var=news_',
        'http://top.news.sina.com.cn/ws/GetTopDataList.php?top_type=day&top_cat=gnxwpl&top_time=20180715&top_show_num=20&top_order=DESC&js_var=news_']
    furl = open("D:/news/sina链接1.txt", "w+")
    fcom = open("D:/news/sinacom.txt", "w+")
    for u in url:
        try:
            wbdata = requests.get(u).text
            fo = open("D:/news/sinau.txt", "w+")

            fo.write(wbdata)
            fo.close()

            text = open("D:/news/sinau.txt", "r").read()
            allurl = re.findall('"url":"(.+?)",', text)
            topnum = re.findall('"top_num":"(.+?)",', text)
            print(len(allurl))
            print(len(topnum))

            for n in allurl:
                # s=n.encode ("utf-8")
                # print(s)
                furl.writelines(n + "\n")
            for n in topnum:
                fcom.writelines(n + "\n")

        except Exception as err:
            print(err)

    furl.close()
    fcom.close()
        # sinaf = codecs.open("D:/news/sina链接1.txt", 'r', 'utf-8')

# 函数功能:根据获取的新浪新闻链接依次爬取新闻正文并保存到本地
def getsinanews():
    sinaf1 = open("D:/news/sina链接1.txt", "r")
    sinaf2 = open("D:/news/sinacom.txt", "r")
    sinaurl = sinaf1.readlines()
    sinacom = sinaf2.readlines()
    i = 0
    for surl in sinaurl:
        try:

            realurl = surl.replace('\/', '/')
            sinadata = urllib.request.urlopen(realurl).read()
            sinadata2 = sinadata.decode("utf-8", "ignore")

            soup = BeautifulSoup(sinadata2, "html.parser")

            content = soup.select('p')
            title = soup.select('title')
            time = soup.select('div.date-source > span.date')
            author = soup.select('div.date-source > a.source')
            # comments = soup.select('div.hd clearfix > span.count > em > a.comment_participatesum_p')
            # print(len(comments))
            if (len(time) != 0):
                fo = open("D:/news/新闻/新浪" + str(i) + ".txt", "w+")
                if (len(title) != 0):
                    fo.writelines("      " + title[0].get_text().strip() + "\n")
                    fo.writelines("时间:" + time[0].get_text().strip() + "\n")
                    fo.writelines("评论数: " + sinacom[i] )
                if (len(author) != 0):
                    fo.writelines(author[0].get_text() + '\n')

                for m in range(0, len(content)):
                    con = content[m].get_text().strip()
                    if (len(con) != 0):
                        fo.writelines("\n" + con)
                    m += 1

                fo.close()
        except Exception as err:
            print(err)

        i += 1


def main():
   get163news()
    getQQurl()
    getqqtext()
   getsinaurl()
   getsinanews()
   getsohuurl()
   getsohutext()

main()

ps:编程小白,刚刚上路,请多关照。欢迎关注我的微博:努力学习的小谯同学

展开阅读全文

没有更多推荐了,返回首页