爬虫核心基础第八讲(Queue,Lock/Rlock,Condition,Semaphore) Queue1.共享变量2.queue队列 - 它本身是安全的 - 引用了 deque 双端队列import timeimport threadingfrom queue import Queuedef get_data_html(queue): # global data_list while True: url = queue.get() ...
3-单向链表 为什么需要链表顺序表的构建需要预先知道数据大小来申请连续的存储空间,而在进行扩充时又需要进行数据的搬迁,所以使用起来并不是很灵活。链表结构可以充分利用计算机内存空间,实现灵活的内存动态管理。链表的定义链表(Linked list)是一种常见的基础数据结构,是一种线性表,但是不像顺序表意昂连续存储数据,而是在每一个节点(数据存储单元)里存放下一个节点的位置信息(即地址)。单向链表单...
2-顺序表 顺序表列表的下标为什么从零开始为什么列表append比insert快列表append之后,id值为什么不变,也可以说内存地址不变在程序中,经常需要将一组(通常是同为某个类型的)数据元素作为整体管理和使用,需要创建这种元素组,用变量记录它们,传进传出函数等。一组数据中包含的元素个数可能发生变化(可以增加或删除元素)。对于这种需求,最简单的解决方案便是将这样一组元素看成一个序列,用元素在...
1-数据结构和算法基础 代码实现'''如果a+b+c=1000,且a^2+b^2=c*2(a,b,c为自然数),如何求出所有a,b,c可能的组合?枚举法a=0b=0c=1000a**2 + b**2 + c**2 = 1000'''import timestart_time = time.time()for a in range(0, 1001): for b in range(0, 10...
Web网络安全第二讲(信息收集&sqlmap介绍) 信息收集&sqlmap介绍真实IP地址收集shodan介绍和搜索shodan命令行使用介绍Python-shodan使用Sqlmap介绍搭建测试环境课堂总结
爬虫核心基础第四讲(requests库) requests库源码分析pip install requests练习两种,第二种是装饰器class Person: def __init__(self,name): self._name = name def name(self): return self._namep = Person('葫芦娃')print(p.name(...
爬虫核心基础第三讲(正则表达式练习:爬取小说,爬取图片) 正则表达式练习爬取小说获取每部小说的urlimport requestsimport re# 1.我要拿到纯爱小说这个分类所对应的第一页的小说内容def get_novel_list(): response = requests.get('http://www.quanshuwang.com/list/3_1.html') response.encoding = 'g...
爬虫核心基础第二讲(正则表达式) 正则表达式正则表达式简介正则表达式就是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定的字符以及这些特定字符的组合,组成一个有规则的字符串。这个字符串用来表达对字符串一种过滤的逻辑。import repattern = 'python'str = 'python and java'# 第一个参数pattern 正则表达式 模板# 第二个参数str 表示要匹配的字符串# 第三个...
爬虫核心基础第一讲(爬虫简介) 爬虫简介通讯协议通讯协议国际组织定义了通信用协议TCP/IP所谓协议就是指计算机通信网络中两台计算机进行通讯必须共同遵守的规则或规定。HTTP协议又叫做超文本传输(就是一种通讯协议)网络模型网络模型https = http + sslhttps是以http以安全为目的的传输通道。简单理解https就是http的安全版get和post方法请求方法GET 从指定的资源...
python最后一讲(复习回顾) 复习01-Python环境搭建02-Python基础语法标识符1.大小写敏感2.只能以字母数字下划线组成(数字不能开头)3.见名知意4.不以关键字命名注释‘’‘ ’‘’“”“ ”“”变量输入输出input()1.等待用户输入2.输入默认为字符串print()sep=’’end=’’运算符分类1.算术运算符2.比...
web网络安全第一讲(信息收集) web网络安全kali虚拟机安装VMwareDebian 6 64位kali-linux-2019-3-amd64.ios域名介绍收集子域名信息端口信息收集收集敏感信息
数据库优化第三讲(数据的修改和删除及数据的条件查询)) 数据库优化标题修改– update 表名 set 列1=值1,列2=值2… where 条件;– 修改 名字为juran 改成 煎饼侠update students set name=‘煎饼侠’; – 不加where 全部修改update students set name=‘python’ where name=‘煎饼侠’;update students set nam...
数据库优化第二讲(数据库和数据表的操作) 数据库优化SQL介绍&常见的数据类型SQLSQL是结构化查询语言,是一种用来操作RRDBMS(关系型数据库管理系统)的数据库语言,当前关系型数据库数据库约束&数据库简单操作数据库操作&数据表操作数据表数据新增课堂复习...
爬取豆瓣电影数据(requests,基于lxml的BeautifulSoup,json) '''爬虫原理。1.模拟浏览器的行为,通过网络请求将目标网页抓取到本地。2.使用一定的匹配规则,将目标中需要的数据提取出来,把不需要的过滤掉。3.根据需求,把提取出来的数据存储到磁盘中(json、csv、excel、数据库)。需要安装的库:requests(用来做网络请求的。就跟浏览器是一样的。)bs4(用来将请求下来的数据进行解析的。)lxml(这个库是用来解析html和xml...