request模块的基本使用 requests模块知识点:掌握 headers参数的使用掌握 发送带参数的请求掌握 headers中携带cookie掌握 cookies参数的使用掌握 cookieJar的转换方法掌握 超时参数timeout的使用掌握 代理ip参数proxies的使用掌握 使用verify参数忽略CA证书掌握 requests模块发送post请求掌握 利用requests.session进行状态保持前面我们了解了爬虫的基础知识,接下来我们来学习如何在代码中实现我们的爬虫1.1 requests模块
requests模块 主要学习requests这个http模块,该模块主要用于发送请求获取响应,该模块有很多的替代模块,比如说urllib模块,但是在工作中用的最多的还是requests模块,requests的代码简洁易懂,相对于臃肿的urllib模块,使用requests编写的爬虫代码将会更少,而且实现某一功能将会简单。
python的django框架实现数据库链接与数据库基本操作 外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FOLnNWMa-1685532991418)(assets/image-20211124103828667.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BjnaUidP-1685532991418)(assets/image-20211124103947169.png)]
python通过re模块,实现正则表达式基本功能 在开发过程中,我们需要查找某些复杂规则的字符串,比如邮箱,手机号,图片地址。这个时候就要使用正则表达式了。0\d{2}-\d{8} 这个就是正则表达式,表达的意思是匹配的是座机号码。正则表达式的通用性很强,能使用与各种语言。正则表达式的语法很让人头疼,可读性差。
python的深浅拷贝 copy函数是浅拷贝,只对可变类型的第一层对象进行拷贝,对拷贝的对象开辟新的内存空间进行存储,不会拷贝对象内部的子对象。对于不可变对象而言,浅拷贝只是引用赋值。deepcopy函数是深拷贝,对于可变类型,深拷贝是逐层进行拷贝。对于不可变类型而言,也是引用赋值。# 对于不可变对象来说,无论深浅拷贝 都不会进行拷贝,只是引用赋值。# 对于可变对象,浅拷贝只拷贝第一层数据,深拷贝会逐层拷贝。可变对象中,保存的可变数据。可变对象中保存不可变数据。
python上下文管理器基础 上下文管理器(context manager)。一个上下文管理器是一个对象,它定义了一个运行时的上下文,使用with语句来执行。代码示范:计算 1到1000000的平方,并将其添加到一个空列表的时间,需要多少秒。num = []i = i ** 2可以看出,需要0.3097244秒。那么具体是怎么执行的呢?我们可以这样思考:在 for循环还没开始前,用time模块获得一个时间段,将此时间段设置为0,然后执行循环程序。在循环结束,值都添加到列表中后,再获得一个时间段。
python中property与setter getter的区别 python的类定义中不免会用到私有属性,一般来说我们会使用setter()和getter()来设置和获取私有属性。使用@property装饰器修饰price方法,可以像使用属性一样去使用方法,而且省去了方法调用时的 "()"。但是在python中还可以使用property来进行另一种优雅的方式定义。2.提供可以获取和修改属性的方法getter()和setter()1.确保属性私有,不可随意修改。
Python连接Mysql,实现增删改查 在给数据库 增删改时会在默认的事物环境中进行操作,操作完成后,要进行手动提交操作,如果不提交 程序默认操作为回滚。首先 右击此电脑 点击管理 在服务中 打开mysql服务(如图)由于我用pymysql是1.0.2版本的 需要填写6个参数。这个时候进行连接如果显示successful则表示连接成功。分别代表本地名,用户名,密码,编码类型,数据库名和端口名。事物的提交操作 由数据库连接对象来完成。然后再在mysql终端里输入密码。ps:数据库中的表是已准备好的。获取指定条数结果(4条)