python爬虫和线程的简单知识总结

当心沉浸于某件事后，总觉时间过得好快，一周的时间就这样悄然而过了。

接下来对于这周所学的一些知识点简单的总结整理一下：

1. 表单的创建

import xlwt  # 表单的创建首先需要导入import模块

wb = xlwt.work()  # 创建一表单
sheet = wb.add_sheet('表一')  # 工作簿名为表一
sheet.write(x, y, '添加的元素')  # x是行，y是列，添加的元素是你在(x,y)处所放的元素
wb.save('xxx.xls')  # 保存表单，并给表单取名为xxx

2. 爬虫爬取数据

   爬虫爬取数据时，有两种页面爬取，一个时静态页面爬取，一个是静态页面爬取，另一个是动态页面爬取

静态页面获取：

import requests  # 	首先也是得导入模块 import requests

resp = requests.get('url')  # get通过URL提交数据，数据在URL中可以看见
resp = requests.post('url') # post数据放置在HTML HEADER内提交
# 二者简单区分： get是从服务器上获取数据 ，post是从服务器上传送数据

get中有：

• url : 统一资源定位符
• Headers : 请求头
  • User-Agent:模拟浏览器
  • cookie:用户信息
  • …

resp.status.code  
"""-响应状态码 -404 Not Found / 403 Forbidden
        ~2xx:成功了
        ~3xx:重定向
        ~4xx:请求有问题
        ~5xx:服务器有问题
"""

resp.content   # 拿到二进制的文本信息

解析页面：

~正则表达式解析：re.compile(’…’) -----> Pattern —>findall / match / s

~CSS选择器解析：beautifulSoup4

soup = bs4.BeautifulSoup(resp.text, 'html.parser')
spans = soup.select('')  # 得到的是一个列表

~XPath解析：

动态页面获取：

from selenium import webdriver  # 首先也是导入模块
driver = webdriver.Chrome()  # 驱动谷歌浏览器
driver.get()  # 打开页面
# page_source是带动态内容的页面源代码
soup = bs4.BeautifulSoup(driver.page_source, 'html.parser')  

en~~爬虫重要的大概知识点就这么些了，接下来就是并发编程的知识点了

那么先谈谈进程和线程吧：

几乎所有的操作系统都支持同时运行多个任务，每个任务通常是一个程序，每一个运行中的程序就是一个进程，即进程是应用程序的执行实例。现代的操作系统几乎都支持多进程并发执行。

注意，并发和并行是两个概念，并行指在同一时刻有多条指令在多个处理器上同时执行；
并发是指在同一时刻只能有一条指令执行，但多个进程指令被快速轮换执行，使得在宏观上具有多个进程同时执行的效果。

对于一个CPU而言，在某个时间点他只能执行一个程序。也就是说，只能运行一个进程，CPU不断地在这些进程之间轮换执行。之所以用户感觉不到任何中断，是应为CPU执行速度太快了，肉眼难以辨别，所以虽然CPU在多个进程之间轮换执行，但用户感觉好像有多个进程在同时执行。

线程是进程的组成部分，一个进程可以拥有多个线程，但是对于大多数应用程序来说，通常仅需要一个主线程。 当一个进程里只有一个线程时，叫做单线程。超过一个线程就叫做多线程。

每个线程必须有自己的父进程，且它可以拥有自己的堆栈、程序计数器和局部变量，但不拥有系统资源。线程可以完成一定的任务，可以与其它线程共享父进程中的共享变量及部分变量，相互之间协同完成进度所要完成的任务。

一个线程可以创建和撤销另一个线程，同一个进程中的多个线程之间可以并发运行。

从逻辑的角度来看，多线程存在于一个应用程序中，让一个应用程序可以有多个执行部分同时执行，但操作系统无须将多个线程看作多个独立的应用，对多线程实现调度和管理以及资源分配，线程的调度和管理由进程本身负责完成。

简而言之，进程和线程的关系是这样的：操作系统可以同时执行多个任务，每一个任务就是一个进程，进程可以同时执行多个任务，每一个任务就是一个线程。

创建线程详解

线程的生命周期