hc818-CSDN博客

原创爬虫小知识3

1、常见的反爬技术-字体反爬1.1 字体反爬的原理CSS3 @font-face 规则在 CSS3 之前，web 设计师必须使用已在用户计算机上安装好的字体。通过 CSS3，web 设计师可以使用他们喜欢的任意字体。当您您找到或购买到希望使用的字体时，可将该字体文件存放到 web 服务器上，它会在需要时被自动下载到用户的计算机上。您“自己的”的字体是在 CSS3 @font-face 规则中定义的。1.2 分析过程1、先分析font-face对应的加密过的字符串；2、将解密过后的字符串写

2020-05-25 20:22:32 137

原创爬虫小知识2

1、request的使用1.1 安装方法pip install requests1.2 基本的get请求def get(url, params=None, **kwargs): r"""Sends a GET request. :param url: URL for the new :class:`Request` object. :param params: (optional) Dictionary, list of tuples or bytes to send

2020-05-25 20:08:58 131

原创爬虫小知识1

1、爬虫基础知识1.1 爬虫的分类1、通用爬虫：搜索引擎的一部分，将互联网的网页下载到本地形成镜像。2、聚焦爬虫（常用）：面向特定的需求，在网页抓取的时候对内容已经进行了筛选。1.2 关于通信过程1、浏览器会通过dns服务器查找域名对应的IP地址；2、向IP地址对应的web服务器发送请求；3、web服务器会根据请求进行响应，发送你需要的数据回到浏览器；4、浏览器接收服务器发送过来的数据或者网页，进行渲染，展示在页面中。1.3 关于路径问题结构：协议(http https ftp): /

2020-05-25 19:34:11 225

原创数据库(DQL)

数据库DQL查询语句一、条件筛选1.1 where引导的条件筛选语句1.1.1 比较运算符# 从employees表中找出所有年龄大于25岁SELECT *FROM employees WHERE age>25;# 从employees表中找出所有年龄不等于28岁SELECT * FROM employees WHERE age != 28;比较运算符：大于>...

2020-04-30 11:21:58 240

原创数据库(DML)

数据库DML一、增加数据1.1 增加一条数据1.1.1 全列插入insert into 表名 values（每一列的值按照顺序插入）INSERT INTO employees VALUES('张三',13111111111,123,18);1.1.2 缺省插入insert into 表名（字段1，字段2，...）INSERT INTO employees (sname,ph...

2020-04-30 09:53:39 128

原创数据库(DDL)

数据库一、数据库类型1、关系型数据库：Oracle:银行、政府；MySQL:最广泛2、非关系型数据库：redis、mongodb二、数据库的核心元素1、sql：关系型的数据库语言，结构化查询语言2、Mysql：具体的数据库3、RDBMS：关系型数据库的管理系统4、数据库：数据库是一种特殊的文件三、sql语句的分类sql：结构化查询语句。DQL:数据查询语言，用于对数据的查询，...

2020-04-30 09:39:14 5960

原创进程之间的数据交换

进程之间的数据交换1 通过multiprocessing中的Queue进行交流1.1 创建队列import multiprocessing# 创建一个消息队列que = multiprocessing.Queue(5)print(que)#将数据存储进队列for item in range(10): # que.put(item,True,2) que.pu...

2020-04-16 14:23:34 1469

原创进程：子进程传参和多进程读写

进程概念程序（静态的概念）：一个py文件是一个程序进程（动态的概念）：一个程序和运行这个程序所需要的系统资源，统称进程通过fork创建多进程os.fork不能跨平台使用import osret = os.fork()print(ret)注意点：1、os是Python提供的，封装了很多系统的调用2、os.fork不能在windos系统下调用子进程传参import os...

2020-04-16 14:17:54 252

原创 tcp三握四挥+服务端

tcp服务器1、通信流程图2、tcp三次握手（建立连接）TCP是主机对主机层的传输控制协议，提供可靠的连接服务，采用三次握手确认建立一个连接:1、第一次握手：客户端要和服务端进行通信，首先要告知服务端一声，发出一个建立联机的请求信号（SYN）。2、第二次握手：当服务端接收到客户端的连接请求，要给客户端一个确认信息（ACK）。3、第三次握手：当客户端收到了服务端的确认连接信息后（ACK...

2020-04-14 15:20:48 133

原创 udp服务端+客户端

服务器1、TCP/IP协议OSI：7层协议TCP/IP：4层协议，tcp在传输层，ip在网络层ip地址：标记网络中唯一的一台设备2、端口个数：2的16次方端口是数据发出或接收的入口端口的目的：通过端口号找到对应的进程，完成数据的通信著名端口0-10233 UDP3.1服务端'''这是创建了一个基于UDP协议的服务端'''import socket#todo 1....

2020-04-13 15:37:34 583

weixin_45053545的博客