互联网
重回幼稚园当老大
工预善其事,必先利其器!
展开
-
爬虫(六):HTTP协议和HTTPS协议的区别+SSL的发布者及目的
什么是HTTP协议?超文本传输协议,是一个基于请求与响应,无状态的,应用层的协议,常基于TCP/IP协议传输数据,互联网上应用最为广泛的一种网络协议,所有的www文件都必须遵守这个协议,设计HTTP的初衷是为了提供一种发布和接受HTML页面的方法。什么是HTTPS协议?HTTPS是一种通过计算机网络进行安全通信的传输协议,经由HTTP进行通信,利用SSL/TLS建立安全信道,加密数...原创 2020-02-24 16:59:58 · 459 阅读 · 0 评论 -
爬虫(五):python中的POST的四种请求方式(编码格式)
POST请求主要包含json格式、xml格式、文件上传(form-data)、及默认传递的urlencoded。HTTP的报文结构:1.请求行:请求方法、请求URL、HTTP协议版本三个部分2.请求头:从第二行开始到倒数第二行都是我们的请求头(headers)3.消息主体:截图的最后一样是请求体,也就是我们要发送数据的主体,消息主体也就是说一个正常的post请求主要由请求行...原创 2020-02-24 16:17:09 · 5348 阅读 · 0 评论 -
数据分析(一):创建数组+数组切片+数组组合+创建矩阵+数组广播+numpy文件读写+统计分析
一.Numpy简介Numpy是用于数据科学计算的基础,不但能够完成科学计算任务,还能被用作高效的多维数据容器。用于存储和处理大型矩阵。Python提供了一个array模块,和list不同,它直接保存数值,但是由于Python的array模块不支持多维,也没有各种运算函数。Numpy弥补了这一遗憾,Numpy提供了一种存储单一数据类型的多维数组-----ndarray二.创建数组对象...原创 2019-12-26 20:47:07 · 1201 阅读 · 0 评论 -
爬虫(四)进程、线程、携程的定义以及性能的比较
1.什么是进程、线程、协程?区别?优缺点?定义:(1)进程是系统进行资源分配和调度的独立单位(2)线程是进程的实体,是CPU调度和分配的基本单位(3)协程,又称微线程,自带CUP上下文,是比线程更小的执行单元,占用资源小,效率高区别:(1)一个程序至少有一个进程,一个进程至少有一个线程(2)线程的划分尺度小于进程(资源比进程少),使得多线程程序的并发性高(3)进程在...原创 2019-12-18 21:28:38 · 546 阅读 · 0 评论 -
爬虫(三)爬虫基础题整理回顾
目录1.当输入一个类似www.baidu.com的网址时,返回页面的过程发生了什么?2.Scrapy框架是如何进行二次请求的,参数有哪些,各代表什么含义?3.scrapy框架的中间件有几种,简单介绍其中的一个的使用?4.re模块中,match findall search 的区别?5.写出创建一个scrapy项目到执行的命令,以百度为例6.scrapy的优缺点?7.请说...原创 2019-12-18 19:58:13 · 513 阅读 · 0 评论 -
爬虫(二)爬虫基础题总结及常见面试题整理
目录1.页面请求成功状态码为?页面找不到状态码为?2.有一个列表 a =[‘ever’,’never’,’there’,’verbs’,’erang’,’ler’],如何用正则匹配出里边的ever,never,ler,写出代码?3.写一个正则表达式,使其能同时识别下面的字符串:'bat' 'bit' 'but' 'hat' 'hit' 'hut'4.requests返回的conte...原创 2019-12-17 21:53:57 · 1400 阅读 · 0 评论