python
文章平均质量分 92
码农一号已就位
一个平平无奇的网络系大学生
展开
-
Redis 管道技术—Pipeline,python交互中的使用
文章目录Redis 管道技术—Pipeline普通命令模式管道模式管道技术解决了什么问题?管道技术需要注意的事项管道使用Redis 管道技术—Pipeline管道技术(Pipeline)是客户端提供的一种批处理技术,用于一次处理多个 Redis 命令,从而提高整个交互的性能。通常情况下 Redis 是单行执行的,客户端先向服务器发送请求,服务端接收并处理请求后再把结果返回给客户端,这种处理模式在非频繁请求时不会有任何问题。但如果出现集中大批量的请求时,因为每个请求都要经历先请求再响应的过程,这就会造原创 2020-09-07 00:05:40 · 2502 阅读 · 0 评论 -
如何让Redis与Python实现交互,在python代码中使用redis数据库进行储存
文章目录安装连接redis相关操作字符串相关操作列表相关操作集合相关操作哈希相关操作redis数据库与python实现交互使用redis库安装pip install redis连接连接redis有两种方式redis.Redis() 和 redis.StrRedis我们通常使用redis.StrRedisr = redis.StrictRedis(host='xxx',port=6379,db=0)# host是连接的数据库IP地址,默认连接本机的# port是端口号,redis端口号是原创 2020-09-06 17:43:11 · 271 阅读 · 0 评论 -
网络分析法(2)-->> 正则表达式(3)对python的支持 findall(),split(),sub()精讲
文章目录re.findall()split()sub()可参考:网络分析法 (2)-- >>正则表达式(1)概念,匹配字符集,零宽断言网络分析法(2)–>> 正则表达式(2)对python的支持 match(),search()函数精讲re.findall()re.findall(patern,string,flags=0)搜索整个字符串,以列表形式返回所有匹配结果import repattern = re.compile(r'\d+')string = 'my iphone is 14原创 2020-08-25 01:57:11 · 3566 阅读 · 0 评论 -
网络分析法(2)-->> 正则表达式(2)对python的支持 match(),search()函数精讲
文章目录正则表达式对python的支持match()函数可参考网络分析法 (2)-- >>正则表达式(1)极其详尽版正则表达式对python的支持python中使用正则表达式使用re模块普通字符 字⺟、数字、汉字、下划线、以及没有特殊定义的符号,都是"普通字符"。正则表达式中的普通字符,在匹配的时候,只匹配与⾃身相同的⼀个字符。例如:表达式c,在匹配字符串abcde时,匹配结果是:成功;匹配到的内容 是c;匹配到的位置开始于2,结束于3。(注:下标从0开始还是从1开始,因当前编程语⾔的不同⽽可能原创 2020-08-23 02:40:18 · 4883 阅读 · 0 评论 -
网络分析法 (2)-- >>正则表达式(1)概念,匹配字符集,零宽断言
文章目录简介概念正则表达式的应⽤场景提取指定字符预定义字符集数量限定分支匹配分组零宽断言贪婪模式与非贪婪模式简介正则表达式并不是python独有的,它就是一种表达式,适用于多种语言,但是我们目前博客以学python爬虫,所以从python爬虫角度分析及使用概念正则表达式(Regular Expression)是一种文本模式,包括普通字符(例如,a 到 z 之间的字母)和特殊字符(称为"元字符")。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。字符串是编程时涉及到的原创 2020-08-22 02:37:12 · 5191 阅读 · 0 评论 -
python 爬虫之requests模块设置代理
文章目录为什么设置代理?设置代理常用获取代理IP地址测试IP地址可用性为什么设置代理?我们都知道上网连接到互联网时会有一个【ip】地址。而网站都有请求的临界点,当我们对一个网站发起多次请求时,网站发现请求次数超过了临界点,就会自动屏蔽掉我们的【ip】,这时就再也无法访问此网站了。这就是基础的一种反爬技术对于这种情况,解决方案也其实很简单:只需在请求时通过设置代理【ip】的方式,就可以解决啦。在【requests】请求时,可以非常便捷的替换发给服务端的【ip】地址,这样网站面对多个不同的【ip】地原创 2020-08-19 23:51:39 · 7197 阅读 · 0 评论 -
程序猿必备知识-->>json格式 python版使用讲解
文章目录json的诞生什么是json?JSON格式JOSN的6种数据类型使用实例:json的诞生JSON的诞生原因是因为XML整合到HTML中各个浏览器实现的细节不尽相同,所以道格拉斯·克罗克福特(Douglas Crockford) 和 奇普·莫宁斯达(Chip Morningstar)一起从JS的数据类型中提取了一个子集,作为新的数据交换格式,因为主流的浏览器使用了通用的JavaScript引擎组件,所以在解析这种新数据格式时就不存在兼容性问题,于是他们将这种数据格式命名为 “JavaScript原创 2020-08-16 02:01:05 · 6145 阅读 · 0 评论 -
python爬虫之使用urllib模块实现有道翻译功能
目标:用python的urllib库实现有道翻译导入需要的库,设置交互进行交互import urllib.requestimport urllib.parseimport json# 请输入你要翻译的内容key = input('请输入您要翻译的内容:')分析网页,由于网页为动态网页所以从Network中寻找,找出结果如下:于是确定好data# 把提交的form表单的数据转换为bytes类型的数据data = { 'i': key, 'from': 'AUTO原创 2020-08-16 01:38:29 · 6857 阅读 · 0 评论 -
python爬虫练习之用urllib模块来爬取百度贴吧指定内容指定页面的全网页内容,(版本3)
文章目录可参考:分步:定义类,并初始化定义请求的方法定义存文件的方法定义主体的方法运行主函数完整代码效果可参考:https://blog.csdn.net/xdc1812547560/article/details/107989273https://blog.csdn.net/xdc1812547560/article/details/108027258https://blog.csdn.net/xdc1812547560/article/details/108013490分步:导入库impo原创 2020-08-15 21:05:44 · 6741 阅读 · 0 评论 -
python爬虫练习之用urllib模块来爬取百度贴吧指定内容指定页面的全网页内容,(版本2)
文章目录目标:可参考:第一步引入模块读取页面第二步第三步主函数体运行完整代码运行结果目标:用urllib模块实现根据搜索来获取指定贴吧内容网页,然后以’.html’格式直接保存网页,可参考:https://blog.csdn.net/xdc1812547560/article/details/107989273[https://blog.csdn.net/xdc1812547560/article/details/108013490](https://blog.csdn.net/xdc1812原创 2020-08-15 20:09:33 · 6930 阅读 · 0 评论 -
python爬虫练习之用urllib模块来爬取百度贴吧指定内容指定页面的全网页内容,(版本1)
文章目录目标:计划第一步第二步请求头url拼接与请求获取所需进行编码以便链接参数搜索拼接url并请求第三步文件名存入完整代码效果目标:用urllib模块实现根据搜索来获取指定贴吧内容网页,然后以’.html’格式直接保存网页,计划首先,引入模块,然后分步来完成分三步:1、分析百度网页链接来通过改变链接中的参数来获取指定页面2、获取网页内容3、保存第一步首先分析链接得出页面的变化与参数pn=‘?’有关import urllib.requestimport urllib.parsei原创 2020-08-15 01:55:13 · 7987 阅读 · 1 评论 -
python 爬虫请求模块requests
文章目录requestsrequests安装requests库的基本使用响应对象response的⽅法状态码请求⽅式GET请求POST请求请求头requests设置代理cookiesession处理不信任的SSL证书requests相比urllib,第三方库requests更加简单人性化,是爬虫工作中常用的库requests安装初级爬虫的开始主要是使用requests模块安装requests模块:Windows系统:cmd中:pip install requestsmac系统中:终端中原创 2020-08-14 15:43:01 · 7552 阅读 · 0 评论 -
python爬虫精讲之请求模块urllib
文章目录Urllib版本常⽤的⽅法响应对象使用方法urllib.parse模块常⽤⽅法实例对比:用python爬虫一般使用的是requests模块,但是requests并不是一开始就存在并使用的,requests是第三方模块,而urllib是内置模块,python自带的模块而是发展过来的,而requests的出现使用前用的是urllib.request模块UrllibUrllib是python内置的HTTP请求库包括以下模块urllib.request 请求模块urllib.error 异常处原创 2020-08-14 00:44:15 · 7004 阅读 · 0 评论 -
python爬虫之初识网页,网页分析法(1),对网页了如指掌的话还怕找不到需要的数据吗?
文章目录HTMLHTML的组成标签网页头&网页体基本标签页:开发者工具工具栏,抓包工具==Elements====Console====Network==HeadersGeneralResponse HeadersRequest HeadersPreviewResponseTiming==Sources==MemoryPerformanceApplicationAuditHTML【HTML】被称为超文本标记语言,是一种标识性的语言。它包括一系列标签,通过这些标签可以将网络上的文档格式统一,使分原创 2020-08-13 13:25:46 · 7711 阅读 · 0 评论 -
python之初级爬虫---->爬虫的开始
文章目录前言:浏览器????1、用户界面(User Interface)????2、浏览器引擎(Browser Engine)????3、渲染引擎(Rendering Engine)????4、网络(Networking)????5、JavaScript解释器(JavaScript Interpreter)????6、XML解析器(XML Parser)????7、显示后端(Display Backend)????8、数据持久层(Data Persistence)爬虫四部曲:requestsGETPOSTU原创 2020-08-13 01:26:01 · 6985 阅读 · 0 评论 -
初识爬虫,爬虫原理?爬虫是什么?为什么爬虫用python比较流行?
文章目录什么是爬虫?为什么需要爬虫?企业获取数据的⽅式?为什么选择python爬虫原理爬虫分类通⽤⽹络爬⾍聚焦⽹络爬⾍增量式⽹络爬⾍深层⽹络爬⾍:robots协议什么是爬虫?简单⼀句话就是代替⼈去模拟浏览器进⾏⽹⻚操作爬虫 (又叫蜘蛛、网络机器人),是一种按照一定规则,自动地抓取网络信息的程序或者脚本,它另外还有一些不常使用的名字:蚂蚁、自动索引、模拟程序、蠕虫。爬虫」(又叫蜘蛛、网络机器人),是一种按照一定规则,自动地抓取网络信息的程序或者脚本,它另外还有一些不常使用的名字:蚂蚁原创 2020-08-12 16:16:24 · 1985 阅读 · 0 评论 -
python基础系统学习整理,自学者可以参考的不二笔记
前言博主自己的python学习整理笔记,基础部分的笔记,当然一定还存在很多不足与纰漏,希望各位可以评论区建议让博主来更新必备理论概念:计算机基础概念python基础概念编辑器与pip安装与基础使用:pip安装与pycharm安装使用环境变量数据类型,表达式,运算符:表达式,数据类型运算符,条件判断条件控制语句序列:列表元组,字典,浅复制集合函数:第一节第二节第三节面向对象:第一节第二节第三节第四节处理异常:异常捕获模块:模块原创 2020-08-09 20:23:53 · 9194 阅读 · 0 评论 -
python精讲之迭代器与生成器,提高编程效率,优化程序
文章目录迭代器迭代是什么迭代器是什么创建迭代器生成器列表推导式生成器是什么创建生成器yield迭代器迭代是什么迭代就是在一些元素中获取元素的过程可迭代对象:生成器、列表、元组、字符串、字典…迭代器是什么迭代器是一个可以记住遍历位置的对象,迭代器对象从序列中的一个元素开始访问,直到所有的元素被访问结束,而且只能往前不能往后可以被next()函数调用并不断返回下一个值的对象我们称之为迭代器 Iterator创建迭代器使用iter函数可以让一个序列转换为一个迭代器lit = [1,2,3,4]原创 2020-08-09 14:26:04 · 9864 阅读 · 0 评论 -
python 之 二进制文件处理,只会处理文本?这里教你处理图片,音频!
对于处理文件还不太熟或者不知二进制文件与普通文件有啥区别可以参考:https://blog.csdn.net/xdc1812547560/article/details/107860396https://blog.csdn.net/xdc1812547560/article/details/107866953读取要读取二进制文件,比如图片、视频等等,用’rb’模式打开文件,用w和wb写入我们放一张美图来用代码来演示下:file = '94_349.jpg'with open(file,'rb'原创 2020-08-07 18:53:58 · 6623 阅读 · 0 评论 -
python较大文件写入与读取,文件太大内存崩溃?这里教你怎么做
文章目录较大文件读取第一种第二种文件写入较大文件读取对于文件的读写操作可参考:https://blog.csdn.net/xdc1812547560/article/details/107860396通过read()读取⽂件内容时会将⽂件中所有的内容全部读取出来。如果对于 读取的⽂件⽐较⼤的话。会⼀次性的将⽂件加载到内容中。容易导致内存泄 露。所以对于较⼤的⽂件。不要直接调⽤read()第一种read()可以接收⼀个size作为的参数。该参数⽤来指定要读取字符的数量。默认值为-1,-1也就是要原创 2020-08-07 17:53:44 · 17041 阅读 · 0 评论 -
python之 文件读写,博主认为已经很详细了。。。
文章目录初步了解一般打开文件与关闭文件with open() as读写文件读取编码较大文件读取文件写入分行写入初步了解⽂件(file) 通过Python程序来对计算机中的各种⽂件进⾏增删改查的操作,⽂件也叫I/O(Input/Output)一般⽂件的操作步骤 :1.打开⽂件2.对⽂件进⾏各种操作(读、写)然后保存3.关闭⽂件⽂件会有⼀个返回值。返回⼀个对象,这个对象就表示的是当前的⽂件在python中操作方式也基本类似,但是不需要特意保存,只需打开文件进行各种操作后关闭文件即可一般打开原创 2020-08-07 17:22:54 · 9732 阅读 · 0 评论 -
python之异常处理方式,报错怎么办,别慌
文章目录异常是什么处理异常异常的传播异常捕获try ... except ...异常捕获之锁定异常类型Exception异常名elsefinally完整异常捕获语法:报错锦集参考异常是什么程序在运⾏过程中可能会出现⼀些错误。⽐如: 使⽤了不存在的索引,两个不 同类型的数据相加…这些错误我们称之为异常 处理异常当一段代码出现报错或者运行结果达不到想要的结果时,证明这段代码出现了异常,就需要去寻找代码中的异常。例如:code = input('请输入验证ID:')if code == 3547:原创 2020-08-07 13:23:46 · 7157 阅读 · 0 评论 -
python精讲之模块
文章目录模块的基本概念模块化的优点:模块的创建模块的引入模块的使用第三方模块的安装注意模块的基本概念在计算机程序的开发过程中,随着程序代码越写越多,在一个文件里代码就会越来越长,越来越不容易维护。为了编写可维护的代码,我们把很多函数分组,分别放到不同的文件里,这样,每个文件包含的代码就相对较少,很多编程语言都采用这种组织代码的方式。在Python中,一个.py文件就称之为一个模块(Module)。模块化指将⼀个完整的程序分解成⼀个个的⼩模块通过将模块组合,来搭建出⼀个完整的程序原创 2020-08-05 02:07:54 · 752 阅读 · 0 评论 -
python精讲之面向对象(4)属性,方法
文章目录属性属性方法方法概念前面的几章博客已经说明了类的属性和方法,但是只是粗略知道什么是属性什么是方法,这章博客带大家更深层次了解下属性和方法属性属性类属性,直接在类中定义的属性是类属性类属性可以通过类或类的实例访问到。但是类属性只能通过类对象来修 改,⽆法通过实例对象修改实例属性 通过实例对象添加的属性属于实例属性实例属性只能通过实例对象来访问和修改,类对象⽆法访问修改class A: # 类属性 直接在类中定义的属性 a = 0a1 = A()# 实例属性 通过原创 2020-08-05 00:12:57 · 686 阅读 · 0 评论 -
python精讲之面向对象(3)继承,多态
文章目录继承继承面向对象三大特性:封装,继承和多态,前面博客讲了封装,而这一章博客来讲讲继承在OOP程序设计中,当我们定义一个class的时候,可以从某个现有的class继承,新的class称为子类(Subclass),而被继承的class称为基类、父类或超类(Base class、Super class)...原创 2020-08-03 23:32:53 · 1172 阅读 · 2 评论 -
python实战训练---基础练习(20)
文章目录计算复读次数磁盘写入磁盘写入II磁盘读写列表转字典计算复读次数题目 计算字符串中子串出现的次数。程序分析 无。s1='xuebixuebixuebixuebixuebixuebixuebixue's2='xuebi'print(s1.count(s2))磁盘写入题目 从键盘输入一些字符,逐个把它们写到磁盘文件上,直到输入一个 # 为止。程序分析 无。if __name__ == '__main__': from sys import stdout filenam原创 2020-07-31 16:10:20 · 1434 阅读 · 0 评论 -
python实战训练---基础练习(19)
文章目录time模块time模块IItime模块IIItime模块IV转换时间格式time模块题目 时间函数举例1。程序分析 无。if __name__ == '__main__': import time print (time.ctime(time.time())) print (time.asctime(time.localtime(time.time()))) print (time.asctime(time.gmtime(time.time())))ti转载 2020-07-31 16:08:21 · 973 阅读 · 0 评论 -
python实战训练---基础练习(18)
文章目录连接字符串II访问类成员打印星号解码列表详解连接字符串II题目 两个字符串连接程序。程序分析 无。a='guangtou'b='feipang'print(b+a)访问类成员题目 回答结果(结构体变量传递)。程序分析 无。if __name__ == '__main__': class student: x = 0 c = 0 def f(stu): stu.x = 20 stu.c = 'c'原创 2020-07-31 16:05:51 · 1265 阅读 · 0 评论 -
python实战训练---基础练习(17)
文章目录求未知数八进制转十进制制作奇数连接字符串整除求未知数题目 809*??=800*??+9*?? 其中??代表的两位数, 809*??为四位数,8*??的结果为两位数,9*??的结果为3位数。求??代表的两位数,及809*??后的结果。程序分析 无。a = 809for i in range(10,100): b = i * a if b >= 1000 and b <= 10000 and 8 * i < 100 and 9 * i >= 100:原创 2020-07-31 16:03:06 · 752 阅读 · 0 评论 -
python实战训练---基础练习(14)
文章目录三数排序交换位置旋转数列报数字符串长度II三数排序题目 输入3个数a,b,c,按大小顺序输出。程序分析 同实例005。raw=[]for i in range(3): x=int(input('int%d: '%(i))) raw.append(x) for i in range(len(raw)): for j in range(i,len(raw)): if raw[i]>raw[j]: raw[i],ra原创 2020-07-30 22:46:41 · 2019 阅读 · 0 评论 -
python实战训练---基础练习(8)
文章目录算素数排序矩阵对角线之和有序列表插入元素逆序列表算素数题目 求100之内的素数。程序分析 用else执行for循环的奖励代码(如果for是正常完结,非break)。lo=int(input('下限:'))hi=int(input('上限:'))for i in range(lo,hi+1): if i > 1: for j in range(2,i): if (i % j) == 0: break原创 2020-07-26 00:32:20 · 4910 阅读 · 0 评论 -
python实战训练---基础练习(7)
文章目录字母识词反向输出II列表转字符串调用函数设置输出颜色字母识词题目: 请输入星期几的第一个字母来判断一下是星期几,如果第一个字母一样,则继续判断第二个字母。程序分析 :这里用字典的形式直接将对照关系存好。weekT={'h':'thursday', 'u':'tuesday'}weekS={'a':'saturday', 'u':'sunday'}week={'t':weekT, 's':weekS, 'm':'monday',原创 2020-07-26 00:27:35 · 4806 阅读 · 0 评论 -
python实战训练---基础练习(6)
文章目录递归求阶乘递归求等差数列反向输出回文数递归求阶乘题目 :利用递归方法求5!。程序分析: 递归调用即可。def factorial(n): return n*factorial(n-1) if n>1 else 1print(factorial(5))120递归输出题目 :利用递归函数调用方式,将所输入的5个字符,以相反顺序打印出来。程序分析:递归真是蠢方法。def rec(string): if len(string)!=1: re原创 2020-07-26 00:23:07 · 4686 阅读 · 0 评论 -
python实战训练---基础练习(5)
文章目录猴子偷桃比赛对手画菱形斐波那契数列II阶乘求和猴子偷桃题目 :猴子吃桃问题:猴子第一天摘下若干个桃子,当即吃了一半,还不瘾,又多吃了一个第二天早上又将剩下的桃子吃掉一半,又多吃了一个。以后每天早上都吃了前一天剩下的一半零一个。到第10天早上想再吃时,见只剩下一个桃子了。求第一天共摘了多少。程序分析: 按规则反向推断:猴子有一个桃子,他偷来一个桃子,觉得不够又偷来了与手上等量的桃子,一共偷了9天。peach=1for i in range(9): peach=(peach+1)*2原创 2020-07-26 00:18:48 · 4985 阅读 · 0 评论 -
python实战训练---基础练习(4)
文章目录输出日期字符串构成复读机相加完数高空抛物输出日期题目 输出指定格式的日期。程序分析 使用 datetime 模块。import datetimeprint(datetime.date.today())print(datetime.date(2333,2,3))print(datetime.date.today().strftime('%d/%m/%Y'))day=datetime.date(1111,2,3)day=day.replace(year=day.year+22)pri原创 2020-07-24 15:13:43 · 5533 阅读 · 0 评论 -
python实战训练---基础练习(3)
文章目录养兔子求质数求n之内的质数。求终端输入数字是否质数求水仙花数什么是水仙花数?第一种,while循环第二种for in 循环遍历分解质因数分数归档养兔子题目: 有一对兔子,从出生后第3个月起每个月都生一对兔子,小兔子长到第三个月后每个月又生一对兔子,假如兔子都不死,问每个月的兔子总数为多少?程序分析: 我认为原文的解法有点扯,没有考虑3个月成熟的问题,人家还是婴儿怎么生孩子?考虑到三个月成熟,可以构建四个数据,其中:一月兔每个月长大成为二月兔,二月兔变三月兔,三月兔变成年兔,成年兔(包括新成熟的原创 2020-07-24 15:06:10 · 5396 阅读 · 0 评论 -
python实战训练--基础练习题(2)
文章目录斐波那契数列。递归实现朴素实现列表copy九九乘法表暂停一秒输出给人看的时间斐波那契数列。斐波那契数列指的是bai这样一个数列 1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, 233,377,610,987,1597,2584,4181,6765,10946,17711,28657,46368…这个数列从第3项开始,每一项都等于前两项之和。程序分析: 斐波那契数列(Fibonacci sequence),从1,1开始,后面每一项等于前面两项之和。图方便就原创 2020-07-24 15:00:47 · 5464 阅读 · 0 评论 -
python实战训练---基础训练(1)
文章目录数字组合个税计算完全平方数这天第几天三数排序数字组合题目:有四个数字:1、2、3、4,能组成多少个互不相同且无重复数字的三位数?各是多少?程序分析 :遍历全部可能,把有重复的剃掉。total=0for i in range(1,5): for j in range(1,5): for k in range(1,5): if ((i!=j)and(j!=k)and(k!=i)): print(i,j,k)原创 2020-07-24 14:27:39 · 5149 阅读 · 0 评论 -
python函数精讲(2)
文章目录函数的返回值returnreturn 与 print区别文档字符串作用域全局作用域函数作用域命名空间递归函数条件经典递归练习函数的返回值return函数的返回值 返回值就是函数执⾏以后返回的结果通过return来指定函数的返回值return后⾯可以跟任意对象,返回值甚⾄可以是⼀个函数在函数中,return一旦执行,函数自动结束,所以return之后的代码皆不会执行如果一个函数没有return语句,那这个函数的返回值就为None,代表这个函数没有运行结果def fn(*args):原创 2020-07-23 20:33:55 · 5026 阅读 · 0 评论 -
python精讲 不可变对象与可变对象
文章目录对象可变对象与不可变对象可变对象不可变对象对象Python 中的变量不是装有对象的“容器”,而是贴在对象上的“标签”。真正的存贮位置是内存中在python中,可变对象包括:list、set、dict、自定义对象;不可对对象包括:int、float、str、bool、tuple等。不可变对象步允许自身内容进行修改。如果我们队一个不可变对象进行赋值,实际上是生成一个新对象,再让变量指向这个对象。哪怕这个对象简单到只是数字0和1每个对象在内存中都会存储三个数据:1.id(标识)2.原创 2020-07-22 15:46:35 · 5678 阅读 · 0 评论