![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 54
银古桑
这个作者很懒,什么都没留下…
展开
-
pandas 一些常用函数
1. pandas读取 没有标题栏的数据,添加标题栏的方法(csv文件)header = ["A", "B", "C", "D", "E", "F", "G", "H"]df = pd.read_csv('sy_yic_result_2020.csv',header=None,names=header)2. pandas两列相加或者拼接转换成一列df["I"] = df["B"] + df["G"] # 必须是同类型相加或拼接3. 存入mongodbdb = conn['pandas_db原创 2020-06-24 09:59:26 · 270 阅读 · 0 评论 -
pandas.DataFrame.dropna 使用删除缺省值NaN
pandas.DataFrame.dropnaDataFrame.dropna(self, axis=0, how=‘any’, thresh=None, subset=None, inplace=False)删除缺失值参数:axis:{0或者‘index’, 1或者‘columns’}, 默认0确定是否删除包含缺失值的行或列。0或’index’:删除包含缺失值的行。1或“列”:删除包含缺失值的列。how: {‘any’,‘all’},默认为’any’当我们有至少一个NA或原创 2020-06-10 20:48:57 · 3427 阅读 · 0 评论 -
python实现统计一周内mongo某个库所有集合每天的增量,并存入表格
临时统计mongo历史数据一周内的的每天的数据情况下面是简单代码实现import pymongoimport datetime, time import xlwtconn = pymongo.MongoClient('mongodb://root:123456@localhost:27017/admin')today = datetime.date.today()yesterda...原创 2020-04-02 19:04:49 · 652 阅读 · 0 评论 -
python logging模块日志管理
日志的重要性如果程序在生产中挂掉, 第一时间要看的不是代码而是日志,这样才能更准确地定位到错误的位置和原因,话说回来如果运行一个重要的程序,没有日志并且代码很多很复杂,运行报错,结果没有日志记录运行情况,这样就会导致我们要花时间是调试代码,重现错误! 这样的代价就是时间跟精力!因此日志记录是日常开发所必须的。python的logging模块python的logging模块很强大能够让我们根...原创 2019-12-18 21:00:29 · 283 阅读 · 0 评论 -
python 数据结构用python列表实现一个栈
栈的概念栈(stack),有些地方称为堆栈,是一种容器,可存入数据元素、访问元素、删除元素,它的特点在于只能允许在容器的一端(称为栈顶端指标,英语:top)进行加入数据(英语:push)和输出数据(英语:pop)的运算。没有了位置概念,保证任何时候可以访问、删除的元素都是此前最后存入的那个元素,确定了一种默认的访问顺序。由于栈数据结构只允许在一端进行操作,因而按照后进先出(LIFO, Last...原创 2019-11-05 10:36:28 · 314 阅读 · 0 评论 -
python 数据结构用python列表实现一个队列
队列的概念队列(queue)是只允许在一端进行插入操作,而在另一端进行删除操作的线性表。队列是一种先进先出的(First In First Out)的线性表,简称FIFO。允许插入的一端为队尾,允许删除的一端为队头。队列不允许在中间部位进行操作python 列表实现一个队列class Queue(object): """队列""" def __init__(self): ...原创 2019-11-01 11:06:42 · 547 阅读 · 0 评论 -
python 使用正则表达式获取文本中所有的日期时间
提取日期前的处理处理文本数据的日期格式统一化text = "2015年8月31日,衢州元立金属制品有限公司仓储公司(以下简称元立仓储公司)成品仓库发生一起物体打击事故,造成直接经济损失95万元。"text1 = "2015/12/28下达行政处罚决定书"text2 = "2015年8月发生一起物体打击事故"# 对文本处理一下 # 2015-8-31 2015-12-28text...原创 2019-10-27 10:53:58 · 7334 阅读 · 1 评论 -
python 用正则表达式获取文本中的文号
import rearea_dict = { "北京": ["海", "北京", "京"], "河南": ["豫"], "河北": ["翼"], "郑州": ["郑"], "商丘": ["商"], "天津": ["津"], "内蒙古": ["蒙"], "株州": ["株"],}a = "河南监管局"b = "郑州市应急管...原创 2019-10-24 22:57:35 · 486 阅读 · 0 评论 -
python使用paramiko远程备份文件并实现两台服务器目录相同
安装 paramikopip install paramiko使用 paramiko通过paramiko可以实现ssh连接到远程服务器可以实现文件传输、远程控制、远程自动化运维等功能。ssh 连接ssh = paramiko.SSHClient() # 创建SSH对象# 允许连接不在know_hosts文件中的主机ssh.set_missing_host_key_policy(...原创 2019-08-29 14:00:18 · 502 阅读 · 0 评论 -
python3爬虫如何使用pyExecJS解析js代码
网络爬虫难免会遇到JS加密,当遇到比较难搞得JS加密时, 很多小伙伴会选择使用selenium+Chrome,但是selenium有时候未必是万能的, 特别是浏览器在headless会出现一些不好解决的BUG,最关键的是效率!如果selenium 无法解决但是又必须获取这些数据, 破解JS势在必行 execjs是python很好的一个执行js的工具下面看看基本的用法环境pyExecJs...原创 2019-06-24 15:22:10 · 4472 阅读 · 0 评论 -
python获取文件名不加后缀
文件名 test.pyimport os file_name = os.path.basename(__file__)print(file_name)# 输出为 test.pyfile_name = file_name.split('.')[0]print(file_name)# 输出为 test原创 2019-06-04 17:21:28 · 47998 阅读 · 5 评论 -
python单继承中super()用法
super().__init__相对于类名.__init__,在单继承上⽤法基本⽆差单继承时,使⽤super⽅法,则不能全部传递,只能传⽗类⽅法所需的参数,否则会报错class A(object): def __init__(self, name): print('A 的__init__开始被调⽤') self.name = nameclass...原创 2019-06-08 23:27:43 · 458 阅读 · 0 评论 -
python 判断字符串是否包含列表内的某个子字符串并替换成指定的值
两种方式:使用in判断list = ["监管分局", "银监会分局", "银保监会分局"]str = "郑州监管分局"flag = 0for i in list: if i in str: str = str.replace(i, '银监会分局') flag = 1print(str)if flag: print("执行接下来的任务")使用find方法...原创 2019-06-13 16:47:24 · 15589 阅读 · 0 评论 -
如何使用docker部署django项目--项目文件挂载数据卷
如何使用Docker部署django项目?在公司我写了一个用于监控爬虫的django项目,为了部署和测试方便,我采用了使用docker来部署,我在使用docker部署稍大一点的项目时会先创建一个基础镜像。如: scrapy爬虫会先建立一个scrapy镜像, django先创建一个django镜像先创建Django的基础镜像创建一个文件夹 test1(随意) 里面放两个文件 Dockerf...原创 2019-06-07 10:16:20 · 930 阅读 · 0 评论 -
python3 导入模块, 导入项目目录的模块如何不会出现报错 -- ImportError: No module named 'db'
python 在导入项目目录的文件时,会报错 ImportError, 这是由于系统没有找到模块路径(sys.path)。根据我的一个简单项目来说明一下导入的正确姿势, 目录结构如下── web_monitor├── conf│ ├── db_config.py│ ├── init.py├── db│ ├── db.cnf│ ├── init.py│ ├── ...原创 2019-05-30 15:20:56 · 4882 阅读 · 3 评论