python使用newspaper快速抓取新闻文章

最近突然想到newspaper，是一个算是专门用来抓取新闻正文，标题，图片等的一个包。

这个包是需要自己重新安装的。

在settings配置环境，添加包newspaper。
如果添加不进去就使用pip命令添加
打开命令行窗口，输入

pip3 install --ignore-installed --upgrade newspaper3k

如果文章没有指明使用的什么语言的时候，Newspaper会尝试自动识别。

import newspaper
from  newspaper import Article
#这里的url可以填写你需要爬取的网址
url = 'http://www.sohu.com/a/284738650_162522?_f=index_chan08news_10'
news = Article(url,language = 'zh')
news.download()
news.parse()

print(news.url)
#news.url为获取网址的url
print(news.text)
# news.text为获取页面的所有text文字
print(news.title)
# news.title为获取页面的所有标题
print(news.html)
# news.html为获取页面的所有源码
print(news.authors)
print(news.top_image)
print(news.movies)
print(news.keywords)
print(news.summary)
print(news.images)
print(news.imgs)

之后还有很多方法，但是具体每个方法怎么用就不做详细解释了；
看关键词应该也都能明白一二。