Python网络爬虫信息（一）

了解网页

网页定义
网页是一个包含HTML标签的纯文本文件，它可以存放在世界某个角落的某一台计算机中，是万维网中的一“页”，是超文本标记语言格式（标准通用标记语言的一个应用，文件扩展名为.html或.htm）。网页通常用图像档来提供图画。网页要通过网页浏览器来阅读。
网页组成

• 页面结构：HTML
  HTML是标记语言（标记标签）

<h1>Hello World</h1>
<div>Hello Python.</div>

效果如下：

• 页面样式：CSS
  CSS叫层叠样式表，它主要负责页面中各个部分的样式，如：字体大小、颜色，布局等。可嵌入HTML里面，也可以单独成页。

<h1  style=‘color:red’>Hello World</h1>
<div>Hello Python.</div>

效果如下 :

• 增加功能：javascript
  Javascript是脚本语言，它是连接前台和后台服务器的桥梁，它是操纵html的能手，为页面添加各种操作，使页面动起来。

<script type="text/javascript">
           alert('js课程开始了')
       </script>

学习Python的requests 库

Request库方法介绍

方法	说明
requests.request()	构造一个请求，支撑一下各方法的基础方法
requests.get()	获取HTML网页的主要方法，对应于HTTP的GET
requests.head()	获取HTML网页头信息的方法，对应于HTTP的HEAD
requests.post()	向HTML网页提交POST请求的方法，对应于HTTP的POST
requests.put()	向HTML网页提交PUT请求的方法，对应于HTTP的PUT
requests.patch()	向HTML网页提交局部修改请求，对应于HTTP的PATCH
requests.delete()	向HTML页面提交删除请求，对应于HTTP的DELETE

request.get()方法

构造一个向服务器请求资源的Request对象
返回一个包含服务器资源的Response对象

import requests
url = "https://www.baidu.com"
r =requests.get(url)

response对象的属性

属性	说明
r.status_code	HTTP请求的返回状态，200表示连接成功，404表示失败
r.text	HTTP响应内容的字符串形式
r.encoding	从HTTP header中猜测的响应内容编码方式
r.apparent_encoding	从内容分析出的响应内容编码方式
r.content	HTTP响应内容的二进制形式

使用request爬取网站信息

爬取豆瓣的电影信息

import requests
import time

headers={
     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:75.0) Gecko/20100101 Firefox/75.0'
 }
def getHTMLText(url):
     try:
         r = requests.get(url,headers = headers,timeout = 30)
         r.raise_for_status()
         r.encoding=r.apparent_encoding
         return r.text
     except:
         return "产生异常"
def main():
    page =10
    for index in range(page):
        url = "https://movie.douban.com/top250?start="+str(25*index)
        print(getHTMLText(url))


if __name__ == "__main__":
    print(main())

效果是爬取豆瓣电影上所有的网站信息