python大作业代码_爬虫大作业(示例代码)

1.选一个自己感兴趣的主题(所有人不能雷同)。

每天都有接触各大平台推送的新闻，了解到了校园外的大小事。故此，对新浪新闻标题的关键字的爬取，看看最近发生的实时，也想比较下标题党还是和实际内容的差异。

2.用python 编写爬虫程序，从网络上爬取相关主题的数据。

3.对爬了的数据进行文本分析，生成词云。

4.对文本分析结果进行解释说明。

5.写一篇完整的博客，描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。

6.最后提交爬取的全部数据、爬虫及数据分析源代码。

实现代码：

importjiebaimportrequestsfrom bs4 importBeautifulSoup

url= ‘http://news.sina.com.cn/china/‘res=requests.get(url)#使用UTF-8编码

res.encoding = ‘UTF-8‘

#使用剖析器为html.parser

soup = BeautifulSoup(res.text, ‘html.parser‘)#遍历每一个class=news-item的节点

for news in soup.select(‘.news-item‘):

h2= news.select(‘h2‘)#只选择长度大于0的结果

if len(h2) >0:#新闻时间

time = news.select(‘.time‘)[0].text#新闻标题

title =h2[0].text#新闻链接

href = h2[0].select(‘a‘)[0][‘href‘]#打印

print(time, title, href)