自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 替换pandas单元格中某个特殊字符

背景: #大数据接入的数据源,有时是csv格式的,数据源没有列名,读取时顺便为每列命名一个列名 #pandas自带的replace只能替换整个单元格的内容,不能对单元格中某个字符进行替换 #再次写回自己csv注意不要将文件 将下面的 col1 col2 col3 col4 col...

2019-10-23 21:05:40

阅读数 699

评论数 0

原创 pandas.to_csv通过encoding='utf-8-sig'解决存储中文后乱码问题

如果pandas中有中文,to_csv会导致中文乱码 df.to_csv(path_or_buf=tofile,index=False,encoding='utf-8-sig')

2019-10-23 20:56:07

阅读数 238

评论数 0

原创 python manage.py migrate无效问题解析

背景: 1、Django+mysql 2、一不小心把表删除了 3、重新执行命令:a、python manage.py makemigrations,b、python manage.py migrate。 4、发现无效 解决方法: 1、删除对应app下面的,除了__pycache__...

2019-10-07 17:25:41

阅读数 153

评论数 0

原创 mode.py中verbose_name用中文报错记录

(unicode error) 'utf-8' codec can't decode byte 0xb3 in position 2: invalid start byte (models.py) 在mode.py开头添加一个# -*- coding:utf-8 -...

2019-09-29 20:05:50

阅读数 15

评论数 0

原创 正确简单的解决django2.2.1使用pymsql0.9.3连接mysql报mysqlclient 1.3.13 or newer is required; you have 0.9.3

按照网上的方法,使用pip install --upgrade mysqlclient升级mysqlclient到最新的1.4.4 发现还是不行 为啥 因为__init__中使用了 import pymysql pymysql.install_as_MySQLdb() 上面这句使得我们...

2019-09-28 11:13:45

阅读数 43

评论数 0

原创 pandas通过loc赋值对象为list时,生成多行的处理方法

最近项目组需要搞迁移,需要把每个hdfs的location路径mv到指定目录,每个表有多个分区,这时就需要处理,如何将多个分区生成多行,例如,一开始biads.ads_表对应的parition为空, db tablename partition biads ads_ ...

2019-09-22 21:18:41

阅读数 190

评论数 1

原创 日常工作辅组:zipfile用法总结

最近陆续把日常工作中每天重复的劳动,比如比对,校验,简单的工作,都实现了一键化,为此省却了不少时间 此为磨刀不误砍柴工 越来越懒,不解释,直接上代码 # coding:utf-8 import zipfile import os import shutil import pdb def...

2019-09-07 11:30:09

阅读数 20

评论数 0

原创 pandas实现行转列

hive进行大数据分析数据经常用到行转列,pandas也可以的。 不解释直接上代码 # -*- coding:utf-8 -*- import pandas as pd c = { 'key':['a','b'], ...

2019-08-16 22:40:25

阅读数 223

评论数 0

原创 协程和生成器以及函数的区别

1、yield放在函数中可以使得函数变成生成器,也可以变成协程。 2、用yielld构造的生成器可以作为协程使用,协程是指一个过程,这个过程与调用方协作,由调用方提供的值,来计算并产出。 3、纯粹的生成器只输出值,和迭代有关,这样可以交接给for调用。 4、协程与函数的区别,函数是一种上下级...

2019-08-11 14:43:16

阅读数 82

评论数 0

原创 通过队列模拟一个线程池

import queue import threading import time import pdb class WorkManager(object): def __init__(self, work_num=1000,thread_num=2): self.work_queue...

2019-08-05 23:01:40

阅读数 16

评论数 0

原创 pycharm+python3.7.3+robotframework+ride全程搭建

经本人实际操作,robotframework已经可以完全搭建在pycharm+python3.7.3上面了 1、安装下面的包 2语法高亮配置 3、进入C:\Python37\Scripts右键ride.py文件,创建快捷方式 4、快捷方式如下: ...

2019-08-05 22:57:08

阅读数 258

评论数 0

原创 最近工作需要python 执行hadf命令,并获取返回结果,总结如下

将命令赋给变量 cmd = 'hadoop fs -ls location' 执行下面的命令可以获取返回结果 try: res = subprocess.Popen(cmd,shell=True,stdin=PIPE,stdout=PIPE,cwd=r...

2019-07-27 23:24:20

阅读数 21

评论数 0

原创 python multiprocessing.Pool某个子进程异常,则结束整个进程池

import multiprocessing import datetime import time import os import subprocess from subprocess import PIPE import pdb #子进程中某个进程发生异常,则结束整个进程池 def wo...

2019-07-27 13:24:50

阅读数 430

评论数 0

原创 buildbot安装过程记录

到https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted这个网址下面下载对应版本的window下面可以安装的twisted包 pip install buildbot pip install buildbot-www pip install bui...

2019-07-22 22:11:01

阅读数 22

评论数 0

原创 Python处理hadoop中海量小文件的思路总结

1、如果不考虑性能问题,该问题解决起来很简单。 2、如果文件数量很多,且分布在不同的文件夹,用生成器扫描文件夹以及子文件夹中所有的文件,使得遍历获取文件不成为瓶颈。 3、虽然需求设定的时候,小文件都是大概11k左右,但是考虑程序的代码可扩展性,我假设这些小文件中可能存在某个大文件,为了避免该大...

2019-07-21 22:12:23

阅读数 26

评论数 0

原创 Python logging 通过配置文件实现日志滚存

import logging from logging import config from logging.handlers import TimedRotatingFileHandler,RotatingFileHandler import configparser import os imp...

2019-07-13 14:51:36

阅读数 31

评论数 0

翻译 Python日志模块的两种用法

import logging from logging.handlers import TimedRotatingFileHandler,RotatingFileHandler ''' 级别有如下: level=logging.NOTSET 0 level=logg...

2019-07-06 12:10:46

阅读数 519

评论数 0

原创 火狐64版本禁止自动更新提示方法

1、找到profiles.ini,并打开 [General] StartWithLastProfile=1 [Profile0] Name=default IsRelative=1 Path=Profiles/5ikzp7mf.default Default=1 2、找到5ikzp7mf...

2019-07-06 10:16:31

阅读数 1227

评论数 0

原创 Robot Framework Ride1.7.3.1导入指定目录下的自定义Library方法总结

1、为了便于归档和维护,我推荐使用指定目录下面的自定义Library,不建议放在C:\Python37\Lib\site-packages目录下面。 2、在我另一篇的文档说明了,自定义Library路径需要避免使用带有空格的路径,我在C:\xxxx\python-code\robotframew...

2019-06-02 10:33:16

阅读数 704

评论数 0

原创 Importing test library failed: File or directory does not exist.

这是一个坑,定位了很久 自定义了一个函数的路径中带了一个空格,导致无法识别

2019-06-02 09:54:15

阅读数 492

评论数 0

原创 Python3.7 Robot Framework AutoItLibrary

1、第一次我安装后,引用AutoItLibrary飘红。 2、第二次我成功了,我比较懒,所以不想第三次,记录一下第二次成功经历,分享一下。 3、第一步到https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/下载最新...

2019-05-30 22:21:48

阅读数 1070

评论数 0

原创 windows下安装numpy+mkl

本人做数据分析,每次换工作环境,都需要重新安装numpy等工作,为了方便后续再次碰到,决定自己记录一份 留给未来的自己用 https://www.lfd.uci.edu/~gohlke/pythonlibs/#numpy 下载对应版本的即可 我从python3.4升级到最新版本pyth...

2019-04-20 15:13:01

阅读数 1559

评论数 0

原创 修改word表格中的内容和读取指定的章节

自从进入日更这种快节奏的工作后,而我是一个比较惫懒的人,不喜欢每日处理这些琐碎的事情,于是动手写的代码,处理一些重复的劳动,已应付那些QA等审计的事情。 每次版本迭代,都需要在版本发布中将本次发布的内容日期等等乱七八糟的东西改一遍。 版本号,日期,发布内容等等 #遍历文档中所有表格,并修改...

2019-03-31 11:21:50

阅读数 35

评论数 0

原创 pip install python-docx报错原因解答

执行pip install python-docx报如下错误 因为是setuptools老旧引起的,之前只是升级了pip pip install setuptools -U进行升级,发从2019年开始,python3.4不再维护了,郁闷,只好自己下载一个setuptools了 ...

2019-03-30 11:31:48

阅读数 1444

评论数 0

原创 python3.4 sklearn安装陷阱

1、由于早期用python3.4研究pandas时,顺便安装了numpy,当时安装的是numpy 1.12.0rc2+mkl,而这次我打算自己研究sklearn程序,发现安装了sklearn '0.19.2'后,import sklearn 异常 D:\Python34\Sc...

2018-08-25 09:06:19

阅读数 1163

评论数 0

转载 pandas.read_csv参数整理

http://www.cnblogs.com/datablog/p/6127000.html 读取CSV(逗号分割)文件到DataFrame 也支持文件的部分导入和选择迭代 更多帮助参见:http://pandas.pydata.org/pandas-docs/stable/...

2017-09-09 18:41:31

阅读数 192

评论数 0

原创 如何通过pandas.apply进行整列和整行计算,以及如何处理A value is trying to be set on a copy of a slice from a DataFrame.错误

df[['星期日']].apply(lambda x:time_diff(x),axis = 0) #axis = 0 将每列数据传入,axis = 1将每行数据传入#df[['星期日']].apply(time_diff,axis = 0) #axis =...

2017-05-28 10:03:51

阅读数 38075

评论数 0

翻译 处理地址异常

from urllib.request import urlopen from urllib.error import HTTPError,URLError from bs4 import BeautifulSoup ''' 如果想用HTTPError和URLErro...

2017-05-05 07:43:21

阅读数 338

评论数 0

原创 Python模拟浏览器登录

'''import gzip import sys import re import urllib.request import urllib.parse import urllib.error import http.cookiejar from bs4 impor...

2017-05-04 21:06:25

阅读数 673

评论数 0

翻译 我写的第一个用Python写的爬虫

import time import hashlib import gzip import sys import re import urllib.request import urllib.parse import urllib.error import http.cookiej...

2017-05-04 20:58:41

阅读数 456

评论数 0

提示
确定要删除当前文章?
取消 删除