运行环境
语言
- Python3
第三方库
pip install reqeusts
pip install BeautifulSoup4
pip install jupyter
在线编辑器
安装 jupyter
模块后,在cmd窗口中运行命令jupyter notebook
就会自动在浏览器中打开一个在线编辑器。如下:
打开右上角的 new 列表,选中python3,就会打开编辑界面,就可以在里面编辑Python代码啦。
第一个爬虫
import requestes
# 爬取页面的路径
url = 'https://www.sina.com.cn/'
# 发送get请求并得到相应
res = requests.get(url)
# 设置页面编码为utf-8 否则得到的页面会出现乱码
res.encoding = 'utf-8'
# 输出页面内容
print(res.text)
编写了上面代码后再按页面热键 ctrl+enter 执行代码就能得到新浪网页的内容了。
这样就是一个简单的爬取新浪网页的爬虫了。当然,网路爬虫不可能只是那么简单,持续学习中。!!!