Python-爬虫初体验

最新推荐文章于 2024-09-06 13:18:41 发布

星空彡

最新推荐文章于 2024-09-06 13:18:41 发布

阅读量4.7k

点赞数

分类专栏：爬虫-python

本文链接：https://blog.csdn.net/jsmok_xingkong/article/details/78448932

版权

本文记录了作者通过观看网易云课堂教学视频学习Python爬虫的过程。以新浪新闻网站为实践对象，使用BeautifulSoup库进行网页解析，抓取新闻标题、时间和链接。目前完成初步抓取，后续将学习更多爬虫知识并更新内容。此外，分享了一个知乎上的50行Python爬虫代码，用于爬取知乎页面，并提供了优化后的代码片段。

摘要由CSDN通过智能技术生成

在网易云课堂上看的教学视频，现在来巩固一下知识：

先确定自己要爬的网站，以新浪新闻网站为例确

import requests  #跟java的导包差不多，python叫导入库
res = requests.get('http://news.sina.com.cn/china/')#爬取网页内容
res.encoding = 'utf-8' #将得到的网页内容转码，避免乱码
print(res.text) #将网页内容以text形式输出