- 博客(11)
- 收藏
- 关注
原创 request模块的基本使用
requests模块知识点:掌握 headers参数的使用掌握 发送带参数的请求掌握 headers中携带cookie掌握 cookies参数的使用掌握 cookieJar的转换方法掌握 超时参数timeout的使用掌握 代理ip参数proxies的使用掌握 使用verify参数忽略CA证书掌握 requests模块发送post请求掌握 利用requests.session进行状态保持前面我们了解了爬虫的基础知识,接下来我们来学习如何在代码中实现我们的爬虫1.1 requests模块
2023-08-15 15:48:47
582
原创 requests模块
主要学习requests这个http模块,该模块主要用于发送请求获取响应,该模块有很多的替代模块,比如说urllib模块,但是在工作中用的最多的还是requests模块,requests的代码简洁易懂,相对于臃肿的urllib模块,使用requests编写的爬虫代码将会更少,而且实现某一功能将会简单。
2023-08-15 15:36:22
83
原创 python的django框架实现数据库链接与数据库基本操作
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FOLnNWMa-1685532991418)(assets/image-20211124103828667.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BjnaUidP-1685532991418)(assets/image-20211124103947169.png)]
2023-05-31 19:46:42
3593
1
原创 python通过re模块,实现正则表达式基本功能
在开发过程中,我们需要查找某些复杂规则的字符串,比如邮箱,手机号,图片地址。这个时候就要使用正则表达式了。0\d{2}-\d{8} 这个就是正则表达式,表达的意思是匹配的是座机号码。正则表达式的通用性很强,能使用与各种语言。正则表达式的语法很让人头疼,可读性差。
2023-05-19 13:36:20
121
原创 python的深浅拷贝
copy函数是浅拷贝,只对可变类型的第一层对象进行拷贝,对拷贝的对象开辟新的内存空间进行存储,不会拷贝对象内部的子对象。对于不可变对象而言,浅拷贝只是引用赋值。deepcopy函数是深拷贝,对于可变类型,深拷贝是逐层进行拷贝。对于不可变类型而言,也是引用赋值。# 对于不可变对象来说,无论深浅拷贝 都不会进行拷贝,只是引用赋值。# 对于可变对象,浅拷贝只拷贝第一层数据,深拷贝会逐层拷贝。可变对象中,保存的可变数据。可变对象中保存不可变数据。
2023-05-16 20:10:10
2306
1
原创 python上下文管理器基础
上下文管理器(context manager)。一个上下文管理器是一个对象,它定义了一个运行时的上下文,使用with语句来执行。代码示范:计算 1到1000000的平方,并将其添加到一个空列表的时间,需要多少秒。num = []i = i ** 2可以看出,需要0.3097244秒。那么具体是怎么执行的呢?我们可以这样思考:在 for循环还没开始前,用time模块获得一个时间段,将此时间段设置为0,然后执行循环程序。在循环结束,值都添加到列表中后,再获得一个时间段。
2023-05-14 18:56:35
84
原创 python中property与setter getter的区别
python的类定义中不免会用到私有属性,一般来说我们会使用setter()和getter()来设置和获取私有属性。使用@property装饰器修饰price方法,可以像使用属性一样去使用方法,而且省去了方法调用时的 "()"。但是在python中还可以使用property来进行另一种优雅的方式定义。2.提供可以获取和修改属性的方法getter()和setter()1.确保属性私有,不可随意修改。
2023-05-14 15:26:41
194
原创 python闭包基础
函数嵌套的前提下,内部函数使用了外部函数的变量,并且外部函数返回了内部函数,我们把这个使用外部函数变量的内部函数,称为闭包。
2023-05-11 19:36:09
43
1
原创 Python连接Mysql,实现增删改查
在给数据库 增删改时会在默认的事物环境中进行操作,操作完成后,要进行手动提交操作,如果不提交 程序默认操作为回滚。首先 右击此电脑 点击管理 在服务中 打开mysql服务(如图)由于我用pymysql是1.0.2版本的 需要填写6个参数。这个时候进行连接如果显示successful则表示连接成功。分别代表本地名,用户名,密码,编码类型,数据库名和端口名。事物的提交操作 由数据库连接对象来完成。然后再在mysql终端里输入密码。ps:数据库中的表是已准备好的。获取指定条数结果(4条)
2023-05-10 20:02:58
246
1
redis分布式爬虫遇到问题
2023-10-06
python的html里写的下拉框,点击没反应
2023-06-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人