2019python爬虫入门爬取腾讯新闻[world板块][BeautifulSoup库利用]

2019python爬虫爬取腾讯新闻[world板块][BeautifulSoup库利用

• 作为一个python小白，这是第一次发博客啦，现在入坑web开始学习python爬虫

• 今天发布的是一个爬取腾讯新闻world的爬虫编写。

• 废话不多说，直接上爬取过程吧

• 先登陆这个界面https://new.qq.com/ch/world/看一看：

• 我们将要爬取的就是这以下的新闻内容

• 先写上代码头吧

import requests
from bs4 import BeautifulSoup
import csv

• 首先我们先爬取一下每一篇文章的链接
• 先打开web开发者看一下：
• 可以发现每篇文章的url都是在div标签class属性值为"detail"下面的，先select(".detail")可以把所有的文章此处都选择，然后分别判断h3标签，选择a标签，得出的是字典，选出第一个的[0]，其键’href’的值则是我们要选择的链接。贴代码：

urls = []
for new in soup.select(".detail"):
    if len(new.select('h3'))>0:
        href = new.select('a')[0]['href']
        urls.append(href)

这样就可以把每篇文章的链接放入urls[]数组中

• 在有了每篇文章的链接我们就上爬取每篇文章标题和内容的代码吧，我们先点击第一篇文章的链接，用web开发者工具选择文章标题：可以发现我们的标题在h1标签内，所以可以直接选择h1标签下的文字，贴代码：

soup.select('h1')[0].string

• 剩下的就是爬取内文了，以本篇文章为例，web开发器选择：发现文字都保存在p标签class属性值为"content-article"下的，贴代码：

p.text.strip() for p in soup.select('.content-article p')

p是我们设置的局部变量，此代码为选择content-article下面所有的p标签，并返回p标签内的文本（strip()去掉文本两边括号）

• 我们的代码差不多完成了，现在就看一下总代码吧：

import requests
from bs4 import BeautifulSoup
import csv

def getNEWS(url):
    news = {}
    r = requests.get(url)
    r.encoding = r.apparent_encoding
    soup = BeautifulSoup(r.text, 'html.parser')
    news['link:'] = url
    news['title:'] = soup.select('h1')[0].string
    news['content:'] = ','.join(p.text.strip() for p in soup.select('.content-article p'))
    #with open('data.csv','a',encoding='utf-8') as csvfile:
        #fieldnames = ['link','title','content']
        #writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
        #writer.writerow({'link':news['link:'],'title':news['title:'],'content':news['content:']})
    print(news)
    print('\n')

url = 'https://new.qq.com/ch/world/'
r = requests.get(url)
r.encoding = r.apparent_encoding
soup = BeautifulSoup(r.text, 'html.parser')

#爬取链接
urls = []
for new in soup.select(".detail"):
    if len(new.select('h3'))>0:
        href = new.select('a')[0]['href']
        urls.append(href)

for url in urls:
    getNEWS(url)

• 得到的结果大致如下（太多了一下子放不出来）：
• 中间的注释掉的是将结果保存进.csv后缀的文件，去掉注释，并把打印注释掉：

with open('data.csv','a',encoding='utf-8') as csvfile:
        fieldnames = ['link','title','content']
        writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
        writer.writerow({'link':news['link:'],'title':news['title:'],'content':news['content:']})

    #print(news)
    #print('\n')

可以得到结果大概如下：

• 差不多就这样啦！有问题的话请告诉博主，我会改的，大家一起进步呀！