- 博客(31)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 DevOps二次开发之shell实现参数替换
1、DevOps可以实现快速部署，但是二次开发的情景也是需要的，有些时候，一个发布包，需要部署在不同的服务器，部分参数信息需要根据不同的服务器环境进行动态更新。2、下面的代码为了解决如下问题：配置文件中每行有两列，分别是配置项名称和配置项对应的值从配置项逐行读取参数名称和参数值，并替换至脚本文件中。abc.txtnnnnnnnn{{projectid}}dddddddddddddddd--------------------------------------------------
2020-05-31 20:09:07
289
原创 替换pandas单元格中某个特殊字符
背景：#大数据接入的数据源，有时是csv格式的，数据源没有列名，读取时顺便为每列命名一个列名#pandas自带的replace只能替换整个单元格的内容，不能对单元格中某个字符进行替换#再次写回自己csv注意不要将文件将下面的 col1 col2 col3 col4 col5 col60 a b c d e f1 e ...
2019-10-23 21:05:40
9471
2
原创 pandas.to_csv通过encoding='utf-8-sig'解决存储中文后乱码问题
如果pandas中有中文，to_csv会导致中文乱码df.to_csv(path_or_buf=tofile,index=False,encoding='utf-8-sig')
2019-10-23 20:56:07
8239
原创 python manage.py migrate无效问题解析
背景：1、Django+mysql2、一不小心把表删除了3、重新执行命令：a、python manage.py makemigrations，b、python manage.py migrate。4、发现无效解决方法：1、删除对应app下面的，除了__pycache__或者__init__.py之外的所有文件，然后执行python manage.py makemigr...
2019-10-07 17:25:41
6180
原创 mode.py中verbose_name用中文报错记录
(unicode error) 'utf-8' codec can't decode byte 0xb3 in position 2: invalid start byte (models.py）在mode.py开头添加一个# -*- coding:utf-8 -*-
2019-09-29 20:05:50
142
原创 正确简单的解决django2.2.1使用pymsql0.9.3连接mysql报mysqlclient 1.3.13 or newer is required; you have 0.9.3
按照网上的方法，使用pip install --upgrade mysqlclient升级mysqlclient到最新的1.4.4发现还是不行为啥因为__init__中使用了import pymysqlpymysql.install_as_MySQLdb()上面这句使得我们还是用pymsql本身自带的mysqlclient>>> import pym...
2019-09-28 11:13:45
429
1
原创 pandas通过loc赋值对象为list时，生成多行的处理方法
最近项目组需要搞迁移，需要把每个hdfs的location路径mv到指定目录，每个表有多个分区，这时就需要处理，如何将多个分区生成多行，例如，一开始biads.ads_表对应的parition为空，db tablename partition biads ads_ 通过程序获取表目前有三个分区['pt_d=20190601', 'pt_d=20190602...
2019-09-22 21:18:41
2165
1
原创 日常工作辅组：zipfile用法总结
最近陆续把日常工作中每天重复的劳动，比如比对，校验，简单的工作，都实现了一键化，为此省却了不少时间此为磨刀不误砍柴工越来越懒，不解释，直接上代码# coding:utf-8import zipfileimport osimport shutilimport pdbdef create_zip(src, dst,flag=True): """ 对指定文件下...
2019-09-07 11:30:09
483
原创 pandas实现行转列
hive进行大数据分析数据经常用到行转列，pandas也可以的。不解释直接上代码# -*- coding:utf-8 -*-import pandas as pdc = { 'key':['a','b'], 'values':['A、B','X、Y、Z']}df = pd.DataFrame(c)print(df)df_left = df['key']...
2019-08-16 22:40:25
2266
原创 协程和生成器以及函数的区别
1、yield放在函数中可以使得函数变成生成器，也可以变成协程。2、用yielld构造的生成器可以作为协程使用，协程是指一个过程，这个过程与调用方协作，由调用方提供的值，来计算并产出。3、纯粹的生成器只输出值，和迭代有关，这样可以交接给for调用。4、协程与函数的区别，函数是一种上下级调用关系，而协程是通过yield方式转移执行权，对称而平级的调用对方，典型的有生产者和消费者。协程...
2019-08-11 14:43:16
886
原创 通过队列模拟一个线程池
import queueimport threadingimport timeimport pdbclass WorkManager(object): def __init__(self, work_num=1000,thread_num=2): self.work_queue = queue.Queue() self.threads = [] ...
2019-08-05 23:01:40
108
原创 pycharm+python3.7.3+robotframework+ride全程搭建
经本人实际操作，robotframework已经可以完全搭建在pycharm+python3.7.3上面了1、安装下面的包2语法高亮配置3、进入C:\Python37\Scripts右键ride.py文件，创建快捷方式4、快捷方式如下：...
2019-08-05 22:57:08
2274
原创 最近工作需要python 执行hadf命令，并获取返回结果，总结如下
将命令赋给变量cmd = 'hadoop fs -ls location'执行下面的命令可以获取返回结果try: res = subprocess.Popen(cmd,shell=True,stdin=PIPE,stdout=PIPE,cwd=r'\DB',universal_newlines = True) res.wait() print('任务调用完毕...
2019-07-27 23:24:20
227
原创 python multiprocessing.Pool某个子进程异常，则结束整个进程池
import multiprocessingimport datetimeimport timeimport osimport subprocessfrom subprocess import PIPEimport pdb#子进程中某个进程发生异常，则结束整个进程池def work_process(i): time.sleep(1) raise Excepti...
2019-07-27 13:24:50
5384
1
原创 buildbot安装过程记录
到https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted这个网址下面下载对应版本的window下面可以安装的twisted包pip install buildbotpip install buildbot-wwwpip install buildbot-grid_viewpip install buildbot-waterfall_view...
2019-07-22 22:11:01
203
原创 Python处理hadoop中海量小文件的思路总结
1、如果不考虑性能问题，该问题解决起来很简单。2、如果文件数量很多，且分布在不同的文件夹，用生成器扫描文件夹以及子文件夹中所有的文件，使得遍历获取文件不成为瓶颈。3、虽然需求设定的时候，小文件都是大概11k左右，但是考虑程序的代码可扩展性，我假设这些小文件中可能存在某个大文件，为了避免该大文件造成阻塞，我设计成将每个文件传给一个独立进程处理，处理大文件进程一直被占用，但是处理小文件的进程处...
2019-07-21 22:12:23
258
原创 Python logging 通过配置文件实现日志滚存
import loggingfrom logging import configfrom logging.handlers import TimedRotatingFileHandler,RotatingFileHandlerimport configparserimport osimport pdbconf = configparser.ConfigParser()conf = ...
2019-07-13 14:51:36
334
翻译 Python日志模块的两种用法
import loggingfrom logging.handlers import TimedRotatingFileHandler,RotatingFileHandler'''级别有如下：level=logging.NOTSET 0level=logging.DEBUG 10level=logging.INFO 20level=logging.WARNING 30level...
2019-07-06 12:10:46
1480
原创 火狐64版本禁止自动更新提示方法
1、找到profiles.ini，并打开[General]StartWithLastProfile=1[Profile0]Name=defaultIsRelative=1Path=Profiles/5ikzp7mf.defaultDefault=12、找到5ikzp7mf.default，并打开5ikzp7mf.default/prefs.js，在文档的最后面添加下面...
2019-07-06 10:16:31
4664
原创 Robot Framework Ride1.7.3.1导入指定目录下的自定义Library方法总结
1、为了便于归档和维护，我推荐使用指定目录下面的自定义Library，不建议放在C:\Python37\Lib\site-packages目录下面。2、在我另一篇的文档说明了，自定义Library路径需要避免使用带有空格的路径，我在C:\xxxx\python-code\robotframework\TestProject1目录下面创建了一个MyLibrary的目录，在MyLibrary目录下...
2019-06-02 10:33:16
3910
原创 Importing test library failed: File or directory does not exist.
这是一个坑，定位了很久自定义了一个函数的路径中带了一个空格，导致无法识别
2019-06-02 09:54:15
4108
原创 Python3.7 Robot Framework AutoItLibrary
1、第一次我安装后，引用AutoItLibrary飘红。2、第二次我成功了，我比较懒，所以不想第三次，记录一下第二次成功经历，分享一下。3、第一步到https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/下载最新版本的pywin32-221.win-amd64-py3.7.exe，右键以管理员方式运行，进...
2019-05-30 22:21:48
5351
原创 windows下安装numpy+mkl
本人做数据分析，每次换工作环境，都需要重新安装numpy等工作，为了方便后续再次碰到，决定自己记录一份留给未来的自己用https://www.lfd.uci.edu/~gohlke/pythonlibs/#numpy下载对应版本的即可我从python3.4升级到最新版本python3.7.3了，找到numpy对应版本如下：numpy‑1.16.2+mkl‑cp37‑cp3...
2019-04-20 15:13:01
5586
2
原创 修改word表格中的内容和读取指定的章节
自从进入日更这种快节奏的工作后，而我是一个比较惫懒的人，不喜欢每日处理这些琐碎的事情，于是动手写的代码，处理一些重复的劳动，已应付那些QA等审计的事情。每次版本迭代，都需要在版本发布中将本次发布的内容日期等等乱七八糟的东西改一遍。版本号，日期，发布内容等等#遍历文档中所有表格，并修改特定的内容for tb in document.tables: for row in tb....
2019-03-31 11:21:50
213
原创 pip install python-docx报错原因解答
执行pip install python-docx报如下错误因为是setuptools老旧引起的，之前只是升级了pippip install setuptools -U进行升级，发从2019年开始，python3.4不再维护了，郁闷，只好自己下载一个setuptools了...
2019-03-30 11:31:48
5716
原创 python3.4 sklearn安装陷阱
1、由于早期用python3.4研究pandas时，顺便安装了numpy，当时安装的是numpy 1.12.0rc2+mkl，而这次我打算自己研究sklearn程序，发现安装了sklearn '0.19.2'后，import sklearn 异常D:\Python34\Scripts>pythonPython 3.4.3 (v3.4.3:9b73f1c3e601, Feb 24 201...
2018-08-25 09:06:19
3132
转载 pandas.read_csv参数整理
http://www.cnblogs.com/datablog/p/6127000.html读取CSV（逗号分割）文件到DataFrame也支持文件的部分导入和选择迭代更多帮助参见：http://pandas.pydata.org/pandas-docs/stable/io.html参数：filepath_or_buffer : str，pathlib。
2017-09-09 18:41:31
313
原创 如何通过pandas.apply进行整列和整行计算，以及如何处理A value is trying to be set on a copy of a slice from a DataFrame.错误
df[['星期日']].apply(lambda x:time_diff(x),axis = 0) #axis = 0 将每列数据传入,axis = 1将每行数据传入#df[['星期日']].apply(time_diff,axis = 0) #axis = 0 将每列数据传入,axis = 1将每行数据传入#df.apply(time_diff,axis = 1) #axis = 0 将每列数
2017-05-28 10:03:51
41274
翻译 处理地址异常
from urllib.request import urlopenfrom urllib.error import HTTPError,URLErrorfrom bs4 import BeautifulSoup'''如果想用HTTPError和URLError一起捕获异常，那么需要将HTTPError放在URLError的前面，因为HTTPError是URLError的一个子类。如果U
2017-05-05 07:43:21
667
原创 Python模拟浏览器登录
'''import gzipimport sysimport reimport urllib.requestimport urllib.parseimport urllib.errorimport http.cookiejarfrom bs4 import BeautifulSoupimport datetimeimport randompages = set()rando
2017-05-04 21:06:25
1448
翻译 我写的第一个用Python写的爬虫
import timeimport hashlibimport gzipimport sysimport reimport urllib.requestimport urllib.parseimport urllib.errorimport http.cookiejarfrom bs4 import BeautifulSoupimport datetime
2017-05-04 20:58:41
553
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人