python简单爬虫（pycharm）(一)

进击的码农！

于 2023-11-21 14:45:00 发布

阅读量89

点赞数

分类专栏： python 文章标签： python 爬虫 pycharm 编程学习 Python入门

本文链接：https://blog.csdn.net/libaiup/article/details/134512798

版权

python 专栏收录该内容

613 篇文章 32 订阅

订阅专栏

推荐阅读： python简单爬虫（pycharm）(二)
之前做过一段时间体系结构，来爬个gem5的教程吧先

第一种方法

代码：

import requests		#调包
url = 'http://learning.gem5.org/book/part1/building.html'       #这里的URL就是通过开发者工具找到的网页的请求信息里的Request URL
res = requests.get(url)   #requests后面的方法要根据网页的请求信息来判断，分get和post两种
res.encoding='utf-8'      #字符集，可加可不加，爬虫结果乱码，可以用这个代码更正
print(res.text)           #输出获取到的东西

requests是一个常用的爬虫包，这里先提供一种pycharm里简单的下载方式。
打开你的项目，file->settings 在这里插入图片描述
点表单右上角的加号，直接搜索requests，然后点install package
不过这样好像只对这个项目有效。换个项目打开：

果不其然报错了。这就要谈到第二种方法。

第二种方法

包的安装

安装一下pip，pip是一个安装和管理python包的工具。
打开cmd，输入pip。看到他出command和option的提示就表示安装好了。

然后装一下requests包，一个常用的python爬虫包。

pip install requests

光这样装可能会因为pip版本不匹配报错
在这里插入图片描述
这样更新pip：

python -m pip install --upgrade pip

之后在控制台里测试一下：
在这里插入图片描述
这就好了。
这个时候打开pycharm，发现import requests还是报错。
这是因为pycharm工程默认的python路径往往不是我们安装的python路径，比如这样：

我们点那个齿轮图标自己设置一下就好了，下面那个对所有工程应用的勾选框可以勾上;
在这里插入图片描述原来是勾选的上面那项，我们把它调到下面去，选择自己安装的python。
运行，就把网页的代码爬下来了：

部分网页代码：

原网站：