1.选一个自己感兴趣的主题(所有人不能雷同)。
答:本次我选择的主题是爬去广州大学的“广大要闻”,工有333页,每页有20条新闻。
2.用python 编写爬虫程序,从网络上爬取相关主题的数据。
答:第一,首先打开广州大学的新闻页:http://news.gzhu.edu.cn/guangdayaowen/,看到此页有20条新闻,获取总的新闻页数的代码实现如下:
#获取文章总页数
def getCount(url):
res = requests.get(url)
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text, 'html.parser')
count = soup.select('.epages')[0].select("a")[0].text
print(count)
return count
3.对爬了的数据进行文本分析,生成词云。
答:第一,将获取的新闻内容,存到文本里面去:
第二,将所获取到的新闻内容,插入图片,生成一张词云图:
4.对文本分析结果进行解释说明。
答:文本获取到的字符信息并不是我们想要的效果