![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 70
外外外
这个作者很懒,什么都没留下…
展开
-
Python在工作中的应用5:数据去重
应用场景:业务给了一份包裹数据,让开发帮忙查询下里面哪些包裹数据还没有从上游回传:开发根据全量数据,通过sql查到已经收到的数据(只列出查到的数据,省略步骤):利用python找未收到的数据(此处将excel表中的数据直接拿出来了,因为上个步骤sql里有用到,通过数据做了些删减):#全量数据totalData=['BTL_001-40195902','BTL_001-40195905','BTL_001-40195909','BTL_001-40195910','BTL_001-40195933'原创 2020-11-09 14:37:00 · 122 阅读 · 0 评论 -
Python在工作中的应用4:数据合并
应用场景:产品给了一份数据,要通过数据中的【包裹号】查到包裹的【收货人,收货时间,发货人,发货时间】等数据,并拼接到现在有数据后面产品给的数据(省略部分细节):开发通过sql查到的包裹的【收货人,收货时间,发货人,发货时间】等数据:利用python将两张表的数据合并,并存起来:import requests,openpyxl#打开 产品给的数据wb1=openpyxl.load_workbook('c:\\Users\\btr\\Desktop\\运费明细6-8月(1).xlsx')sh原创 2020-11-04 19:07:09 · 242 阅读 · 0 评论 -
Python在工作中的应用3:数据截取
应用场景:有些数据每行都有一个标志位,我们通常需要标志位前或后的数据,此时就可以通过**split()**对数据进行截取需要处理的文件:现在用python截取标志位[nio-8080-exec-1] 后面的数据存入新的txt文件:file1=open('c:\\Users\\btr\\Desktop\\dd.txt','r',encoding='UTF-8')file2 =open('c:\\Users\\btr\\Desktop\\ee.txt','w',encoding='UTF-8')l原创 2020-05-22 21:00:44 · 485 阅读 · 0 评论 -
Python在工作中的应用2:初始化数据
应用场景:运费规则优化,在原先的运费主表上添加一个字段基数base_num,然后主表每条数据会有最多5条明细(明细表为此次新加),给所有主表配置默认的明细数据业务方配置的每条运费规则的基数信息(A到I的列的数据是系统已经有的):业务方提供的系数信息:体积范围起:0 ,体积范围止:0.2,系数:0.8,体积范围起:0.2,体积范围止:1 ,系数:0.5,体积范围起:1 ,体积范围止...原创 2020-03-25 18:33:12 · 351 阅读 · 0 评论 -
Python在工作中的应用1:批量调用后门补数据
问题场景:有一批特定类型的包裹,上游没有下发到物流,现在要根据上游的后门(后门为时间段)来批量下发数据上游的后门:上游提供的数据(包裹号+包裹创建时间):只是举例,数据是测试环境随意找的数据,实际第二列的时间可能间隔很长,因为传参是两个时间,开始时间用包裹创建时间,结束时间用包裹创建时间加10秒,当然时间可以更短,因为如果系统数据量大时,10s也有会大量的包裹数据,同时下游消费消息里做了...原创 2020-03-23 21:58:32 · 95 阅读 · 0 评论 -
Python基础语法15:scrapy
scrapy的用法:0.创建scrapy项目1.定义item2.创建和编写spiders文件(在spiders目录下创建文件 .py)3.修改setting.py文件4.编写piplines.py文件5.运行scrapy爬虫0.创建scrapy项电脑终端win+R->cmd->e:->cd python(跳转到想要保存的文件夹)->scrapy start...原创 2020-03-21 17:04:57 · 379 阅读 · 0 评论 -
Python基础语法10:session
重点内容只有一个:用requests.session()创建session对象,相当于创建了一个特定的会话,帮我们自动保持了cookies。例子:import requests,json,csvsession = requests.session() #用requests.session()创建session对象,相当于创建了一个特定的会话,帮我们自动保持了cookies。header...原创 2020-03-21 16:55:27 · 287 阅读 · 0 评论 -
Python基础语法14:协程gevent和queue
一.用gevent实现多协程爬虫的重点1.定义爬虫函数2.用gevent.spawn() 创建任务3.用gevent.joinall()执行任务二.用queue模块的重点1.用Queue()创建队列2.用put_nowait()存储数据3.用get_nowwat()提取数据三.queue对象的方法1.put_nowait():往队列里存储数据2.get_nowwat():从队列...原创 2020-03-21 16:53:12 · 804 阅读 · 0 评论 -
Python基础语法13:selenium
一.下载selenium:pip install selenium二.下载ChromeDriver,解压后的exe文件放到python的安装根目录下如果不知道是哪里,通过下面的代码查一下import sysfor i in sys.path:print(i)三.配置环境变量四.selenium提取数据的方法find_element_by_tag_name 通过元素标签名选择fin...原创 2020-03-21 16:48:48 · 193 阅读 · 0 评论 -
Python基础语法12:文件存储CSV和XLSX
一.csv文件的写入a.创建文件 open():open(‘c:\Users\69505\Desktop\movie.csv’,‘w’,newline=’’,encoding=‘utf-8’)b.创建对象 writer():writer=csv.writer(csv_file)c.写入内容 writerow():writer.writerow([‘电影’,‘豆瓣评分’])d.关闭文件 cl...原创 2020-03-21 16:45:07 · 179 阅读 · 0 评论 -
Python基础语法11:JSON请求
1.network:记录当前页面所发生的请求(点F12打开)XHR:一种不借助刷新网页即可传输数据的对象,ajax技术DOC:第0个请求一般在这里上面的例子:1.参数放在params里,可以实现循环2.请求关放在headers里,有些服务会反爬虫,可以修改请求头假装是服务器请求2.返回的数据为json例子:import requestsimport json,time#引用...原创 2020-03-21 16:41:29 · 209 阅读 · 0 评论 -
Python基础语法9:BeautifulSoup
1.下载BeautifulSoup使用pip install BeautifulSoup42.引入BeautifulSoup对象from bs4 import BeautifulSoup3.把网页解析为BeautifulSoup对象BeautifulSoup(要解析的文本,解析器)例如:BeautifulSoup(html,‘html.parser’)注意要解析的文本必须是字符串...原创 2020-03-21 16:37:55 · 166 阅读 · 0 评论 -
Python基础语法8:爬虫请求
1.Response对象常用属性res.status_code:检查请求是否成功res.content:把response对象转为二进制数据res.text:把response对象转为字符串数据res.encoding:定义response对象的编码2.res.status_code 值的意义1xx请求收到2xx请求成功3xx重写向4xx客户端错误5xx服务器错误3.Robo...原创 2020-03-21 16:34:08 · 348 阅读 · 0 评论 -
Python基础语法7:发邮件
发邮件主要使用smtplib和email两个模块,其中email模块来封装要发送的内容,smtplib模块用来链接邮件服务器来发送邮件。例子:群发邮件,群发人信息放在文件里,下面有一段把信息写入文件的内容,如果已有文件,可以注释#引用csv模块。import smtplibimport csv#引入email包中构建文本内容的方法from email.mime.text impo...原创 2020-03-21 16:29:28 · 159 阅读 · 0 评论 -
Python基础语法6:模块
1.import 模块名,例如:import random,csv2.from 模块名 import 变量,函数名3.if name == ‘main’,用来判定主模块4.dir(模块名),可以看模块有哪些函数,属性,方法例子:建一个文件story.pysentence = '从前有座山,'def mountain(): print('山里有座庙,')class Tem...原创 2020-03-21 16:08:09 · 215 阅读 · 0 评论 -
Python基础语法5:基本文件读写(txt)
文件读写一、写如果你打开的文件不存在,那么open()函数会自动帮你创建一个file2 = open(‘c:\Users\69505\Desktop\pass.txt’,‘w’,encoding=‘UTF-8’)file2.write(“小白\n”)file2.write(“小红\n”)file2.close()二、追加,如果你打开的文件不存在,那么open()函数会自动帮你创建一个...原创 2020-03-21 16:00:56 · 149 阅读 · 0 评论 -
Python基础语法4:类与对象
一.类的实例化例如info1=showInfo(),注意类的方法参数改为self二.实例属性,类属性a.改变类属性,实例属性跟着改变b.修改实例属性,只会影响实例自身三.实例方法,类方法a.类方法可重写类.原始函数=新函数b.实例方法不能修改例子:class showInfo(): var1='aaa' def showLine(self): p...原创 2020-03-21 15:57:15 · 141 阅读 · 0 评论 -
Python基础语法3:类
一、类1.定义:是一个函数包,可以放置函数和变量2.类方法使用类的变量时,需要a.@classmethodb.参数里加上clsc.使用cls.变量1例如:class sing():poetry = [’《卜算子》’,‘我住长江头,’,‘君住长江尾。’,‘日日思君不见君,’,‘共饮长江水。’]@classmethoddef sing(cls,name):print(“念给%s...原创 2020-03-21 15:47:13 · 200 阅读 · 0 评论 -
Python基础语法1:基础语法
最近学了办公自动化和爬虫的一些内容,在此做一下总结,防止遗忘,也方便在后续使用时查询一、数据数据类型:1.字符串2.整数3.浮点数,计算结果可能会有误差数据拼接1.’+’2.相关函数str():转换成字符串int():转换为整形,文字类和小数类字符串,无法转化为整数浮点数转化为整数,抹零取整float():转换为浮点数占位符%+类型码%s 字符串%f 浮点数%d 整...原创 2020-03-21 15:44:52 · 203 阅读 · 1 评论 -
Python基础语法2:函数
最近学习了下办公自动化和爬虫的一些内容,这里做下总结,怕以后忘记,也方便日后使用时查看。一、数据数据类型:1.字符串2.整数3.浮点数,计算结果可能会有误差数据拼接1.’+’2.相关函数str():转换成字符串int():转换为整形,文字类字符串,无法转化为整数浮点数转化为整数,抹零取整float():转换为浮点数占位符%+类型码%s :字符串%f:浮点数%d:整数...原创 2020-03-21 15:23:04 · 198 阅读 · 0 评论