python简单爬虫（pycharm）(一)

python简单爬虫（pycharm）(一)
之前做过一段时间体系结构，来爬个gem5的教程吧先

第一种方法

代码：

import requests		#调包
url = 'http://learning.gem5.org/book/part1/building.html'       #这里的URL就是通过开发者工具找到的网页的请求信息里的Request URL
res = requests.get(url)   #requests后面的方法要根据网页的请求信息来判断，分get和post两种
res.encoding='utf-8'      #字符集，可加可不加，爬虫结果乱码，可以用这个代码更正
print(res.text)           #输出获取到的东西

requests是一个常用的爬虫包，这里先提供一种pycharm里简单的下载方式。
打开你的项目，file->settings
点表单右上角的加号，直接搜索requests，然后点install package
不过这样好像只对这个项目有效。换个项目打开：

果不其然报错了。这就要谈到第二种方法。

第二种方法

包的安装

安装一下pip，pip是一个安装和管理python包的工具。
打开cmd，输入pip。看到他出command和option的提示就表示安装好了。

然后装一下requests包，一个常用的python爬虫包。

pip install requests

光这样装可能会因为pip版本不匹配报错

这样更新pip：

python -m pip install --upgrade pip

之后在控制台里测试一下：

这就好了。
这个时候打开pycharm，发现import requests还是报错。
这是因为pycharm工程默认的python路径往往不是我们安装的python路径，比如这样：

我们点那个齿轮图标自己设置一下就好了，下面那个对所有工程应用的勾选框可以勾上;
原来是勾选的上面那项，我们把它调到下面去，选择自己安装的python。
运行，就把网页的代码爬下来了：

部分网页代码：

原网站：

为什么requests配了用不了？

个人以为好像pycharm的每个工程都会在工程文件夹下有一个自己的环境，所以会导致不同项目不同环境下的包不通用，通过设置我们可以把环境统一配到我们自己安装的python目录下面，就好了。