网络爬虫http篇

00: 百度中输入python查询后的网址
https://www.baidu.com/s
?ie=utf8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=python ~~&rsv_t=9a03WzcR0gTeb0Qsm8BqUPRNwfSNJOqmElJNkVSITz1Aj56Xl29OQHqlsrY&rsv_enter=1&rsv_dl=tb&rsv_sug3=7&rsv_sug1=7&rsv_sug7=101&rsv_sug2=0&inputT=1521&rsv_sug4=2322&rsv_sug=2 ~~

? 后面的内容就是get请求中的字段 字段与字段通过&&隔开
字段1=值&&字段2=值

提取关键部分：https://www.baidu.com/s?ie=utf8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd= ==python ==

1:使用python模拟get请求
1.1适用于爬取安全性不太高的网站，稍高点，可以将https换成http
使用的是360搜索，Sogou搜索也是可以使用这种方法
但是百度，必应用下面的方法是爬去不成功的，应该另辟曲径

import urllib.request

keywd = "python"
#keywd = "薛之谦and高磊鑫"
#keywd=urllib.request.quote(keywd)   出现中文可以通过quote对中文进行编码
url = "https://www.so.com/s?ie=utf-8&fr=none&src=360sou_newhome&q=" + keywd

# 将网址作为一个请求
req = urllib.request.Request(url)
data = urllib.request.urlopen(req).read()
print(len(data))
# 将数据写入文件中，以wb二进制方式的打开文件
fh = open(r"D:\Document\0.professional\python\NetBug\httpf.html", 'wb')
fh.write(data)
fh.close()

2:使用python模拟post请求

import urllib.request
import urllib.parse

url = "https://www.iqianyue.com/mypost"
data = urllib.parse.urlencode(
    {
        "name": "123@qq.com", "pass": "022"
    }
).encode("utf-8")

# 把上面的内容封装成一个请求
req = urllib.request.Request(url, data)
# 将对应的信息提交过去
data=urllib.request.urlopen(req).read()
fh = open(r"D:\Document\0.professional\python\NetBug\postHtm.html", "wb")
fh.write(data)
fh.close()

3.处理URL异常

import urllib.error
import urllib.request
try:
    urllib.request.urlopen("http://www.bilibili.com")
except urllib.error.HTTPError as s:
    if hasattr(s,"code"):
        print(s.code)
    if hasattr(s,"reason"):
        print(s.reason)

#403
#Forbidden 
#禁止访问

```3.模拟浏览器访问bilibili的网站``

import urllib.error
import urllib.request

try:
    url = "https://www.bilibili.com/"
    hearder = {'User-Agent':
               'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'}
    req = urllib.request.Request(url, headers=hearder)
    data = urllib.request.urlopen(req).read()
    fh=open(r"D:\Document\0.professional\python\NetBug\html329.txt",'wb')
    fh.write(data)
    fh.close()
    print("Success")
except urllib.error.HTTPError as s:
    if hasattr(s, "code"):
        print(s.code)
    if hasattr(s, "reason"):
        print(s.reason)

4.基本知識
端口號
http:80
https:443
url: Uniform resource Locator是統一資源定位符

ip：port 套接字 可以定位到一個應用
parh:資源在服務器的相對路徑—路由(router)
5.http的工作過程
1）地址解析
2）封裝http請求數據包
3）封裝成TCP包，建立TCP連接（TCP的三次握手）
4）客戶機發送請求命令
5）服務器響應