网络爬虫基础4--requests和多线程的使用

网络爬虫基础4

以思维导图的方式记述爬虫学习基础，没有详细的信息，只有一些要点！

---

---

前言

记述了requests的使用，以及如何使用Python的多进程库multiprocessing来实现多线程爬虫，并实现一个爬虫案例。

---

思维导图

代码区

import requests
import re

''' 4.1 使用Python获取网页的源代码 '''
# GET方式
def get():
    html_str = requests.get("http://exercise.kingname.info/exercise_requests_get.html").content.decode()
    print(html_str,'\n')
# POST方式
'''
1.构建字典data，给各个元素赋具体的值
2.使用formdata或者json提交数据，参数为name和password
'''
def post():
    data1 = {
   'name':'1','password':'2333'}
    html1_formdata = requests.post("http://exercise.kingname.info/exercise_requests_post",data=data1).content.decode()
    html2_json = requests.post("http://exercise.kingname.info/exercise_requests_post",json=data1).content.decode()
    print(html1_formdata)
    print(html2_json)
# requests与正则表达式
def requests_re