python爬虫实战（1）——访问网页

python爬虫实战（1）———访问网页及更改编码格式

疫情期间在家闲着没事，找到本科时的课本，随手翻了翻还是挺有意思的。在此将自己重新学习的新感受记录下来，方便以后查阅，如能帮助到广大的初学者朋友，将是莫大的荣幸。

1.网络爬虫
网络爬虫，又称为网页蜘蛛（WebSpider），如果我们把整个互联网想象成类似于蜘蛛网一样的构造，那么这只爬虫，就是要在互联网这张大网上爬来爬去，以便捕获我们需要的资源。
我们之所以能够通过百度或者谷歌等搜索引擎检索到我们要浏览的网页，靠的就是他们大量的爬虫每天在互联网上爬来爬去，对网页中的每个关键词进行索引，建立索引数据库。经过复杂的算法进行排序后，将这些结果按照与搜索关键词的相关度高低，依此排列。
使用Python编写爬虫代码，要解决的第一个问题是：如何用python访问互联网？要解决这个问题，就要用到一个模块——urllib模块。
2.urllib模块
urllib，是URL和lib两个单词共同构成的：URL，Uniform Resource Locator,统一资源定位符，也就是我们通常所说的网页地址；lib，是library（库）的缩写，里面有很多我们需要用到的工具或是代码块。通过lib我们可以方便的调用这些工具或代码块而简化我们的代码。
URL的一般格式为（在方括号[ ]内的为可选项）：protocol://hostname[port]/path/[;parameters][?query]#fragment。
URL由三部分组成：
（1&#