打卤的博客

获取上个月1 号的年月日#获取上个月最后一天的的年月日#获取到上个月的月份#获取到上个月的最后一天。

由于CentOS6 自带python版本为2.6.6，实际中使用的大多为2.7.x版本。于是手动升级。查看python的版本#python -VPython 2.6.6安装依赖yum install zlib zlib-devel openssl-devel -y1.下载Python-2.7.6#wget https://www.python.org/ftp/python/2.7....

业务场景，写个自动任务定时把mysql的数据同步clickhouse，利用clickhouse的高速查询来做大数据准备实现原理，查询当前clickhouse的数据id,拉取mysql大于此id的数据，再插入到clickhouseimport pymysqlfrom clickhouse_driver import Clientclick_client = Client("host", "...

需求：处理前.log，有记录url的请求参数,需要找出想要参数对应的值，并保存到文件import urllib.parsedalu=open("处理后.log","w+",encoding='UTF-8')try: file=open("处理前.log","r",encoding='UTF-8') for i in file: query = dict(ur...

日志样板（test.log）：[2019-07-14 00:04:31][/data/www/php/test.php][452][dalu]{"appid":421,"shop_id":"1060343","page":"index"}[2019-07-14 00:24:02][/data/www/php/test.php][452][dalu]{"appid":420,"shop_id":...

为啥用连接池：在创建数据库对象的时候被执行。之后每次去执行sql的时候，不需要去创建连接池，只需要每次执行sql前去执行连接方法_Getconnect，sql执行完毕，去关闭连接，连接被数据库连接池给回收。为啥用配置文件：当很多项目都需要连接各种线上数据库，当数据修改时只需要改配置文件即可。目录结构db.ini 为mysql的配置文件[test1]host = 192.168.1.40...

一个完整的程序离不开日志，无论是开发阶段，还是测试阶段，亦或程序运行阶段，都可以通过日志查看程序的运行情况，或是定位问题。下面是对 python3 的日志库 logging 进行了封装，对于大部分的需求应该是能满足的。程序结构：|--logger.py||--singleton.py||--demo.py||--log| || 2019-07-01.loglo...

dic={'id': '102', 'time': 1563262149, 'name': ' 打卤', 'shop': ' 1'}for k in dic: if dic[k] == "102" : dic[k] = "105" print (u"替换了：",k,"对应的values") print (k, dic[k])...

由于各种消息调用，官方只提供Java语言的封装，平时使用Python比较多，为了更方便平时自动化项目的使用，周末花了点时间用Python语言对各种消息类型进行了一一封装，代码已开源在GitHub上，同时也上传了PyPI。1、项目源码地址如下：DingtalkChatbot2、安装命令如下：pip install DingtalkChatbot简易使用方法from dingtalkcha...

日志样板（test.log）：[2019-07-14 00:04:31][/data/www/php/test.php][452][dalu]{"appid":421,"shop_id":"1060343","page":"index"}[2019-07-14 00:24:02][/data/www/php/test.php][452][dalu]{"appid":420,"shop_id"...

安装库pyinotifypip3 install pyinotify先使用pyinotify实现一个tail -f 的功能：（来来实时提取日志）```import pyinotifyimport timeimport osimport sysclass ProcessTransientFile(pyinotify.ProcessEvent): def process_...

from clickhouse_driver import Clientimport pandas as pddef export_excel(): #链接clickhouse获取数据转换成DataFrame click_client = Client("192.168.1.71", "9000", "bi", "default", "") sql = 'selec...

# -*- coding: utf-8 -*-import osimport timeclass create_path: #windows path = 'F:\\桌面\\dalu\\' #linux #path='/root/dalu/' def mkdir(self): files = 'report'+ time.strftime...

1.开启qq邮箱的smtp服务代码：import smtplibfrom email.mime.text import MIMETextfrom email.mime.multipart import MIMEMultipartdef Mailer(to_list,th1=None,Subject=None,unipath=None): mail_host = 'smtp....

发布需要用flask写了一个简陋的文件上传分发工具功能手动上传文件，发送到指定服务器的目标目录环境 python2+flask目录结构Sample.py# coding:utf-8from flask import Flask, render_template,request,redirect,url_forfrom werkzeug.utils import secure_fi...

1、导入如下的模块，没有的话需要安装import pymysql #mysql连接模块import xlwt #写excel的第三方库import pymysql,xlwtdef export_excel(table_name): import pymysql host, user, passwd, db = '192.168.1.11', 'root', '**', '...

通过自动任务执行监控sh文件，通过python常链接日志文件发送到钉钉自动任务1 0 * * * /root/linan/alarm/alarmd.sh stop > /dev/null 2>&1 & #每分钟检查一次*/1 * * * * /root/linan/alarm/alarmd.sh start > /dev/null 2>&am...

yum install gcc python-crypto python-paramiko python-devel -yyum install MySQL-python -yyum install -y mysql-devel python-devel python-setuptoolsyum install subversion -y

话不多直接上脚本，新手写法-还请指点#-*- coding: utf-8 -*-import pymysql#根据id同步，获取本地最大IDdef loacl():    db =pymysql.connect(‘127.0.0.1’','root','PASSWORD','DETABASES',charset='utf8')    cursor = db.cursor()  ...

原理用python常链接一个日志文件，每当有新的内容写入，就通过钉钉机器人转发到群里#!/usr/bin/python#-*- coding: utf-8 -*import urllib, urllib2, jsonimport sys, shutil, os, string, datetime,timeserverip="服务器IP"name="日志名"timenow=date...

需求是目录下很多zip,一键查询有哪些zip后，选择后直接解压到要恢复的目录。#-*- coding: utf-8 -*-import osimport commands(status ,dir) =commands.getstatusoutput( "ls -l /data/bak |grep ^- | awk '{print $9}'")seq = dir.strip('\n')...

在crongtab -e 中 添加以下，原因环境变量问题LANG=zh_CN.UTF-8SHELL=/bin/bashPATH=/bin:/usr/bin:/usr/local/bin:/usr/sbin* * 1 * * python 123.py

目录前言... 2（一）如何学习Python. 2（二）一些Python免费课程推荐... 3（三）Python爬虫需要哪些知识？... 4（四）Python爬虫进阶... 6（五）Python爬虫面试指南... 7（六）推荐一些不错的Python博客... 8（七）Python如何进阶... 9（八）Python爬虫入门... 10（九）Python开发微...

#!/bin/bashyum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-develwget https://www.python.org/ftp/python/3.6.1/Python-3.6.1.tgztar vxf Python-3.6.1.tgzcd Python-3.6.1./conf...

参考文档https://wxpy.readthedocs.io/zh/latest/index.html#环境python3.4-3.6,pip安装wxpypip3.6 install -U wxpy -i “https://pypi.doubanio.com/simple/”#!/usr/bin/python# -*- coding: utf-8 -*import urlli...

yum安装系统会自动安装到python2环境下。下载地址：http://pysvn.barrys-emacs.org/下载1.8，1.9要求svn版本太高，一般不兼容。#下载wget http://pysvn.barrys-emacs.org/source_kits/pysvn-1.8.0.tar.gz#安装svn客户端yum install subversion -y#安装依赖y...

yum install pysvn -y#coding=utf-8import pysvnimport datetimeclient = pysvn.Client()entry = client.info('本地代码库项目路径')print u'SVN路径:',entry.urlprint u'最新版本:',entry.commit_revision.numberprint u...

#!/usr/bin/python# -*- coding: utf-8 -*-import timeimport requestsimport json,osclass WeChat_SMS: def __init__(self): self.CORPID = 'XXXX'#企业ID， 登陆企业微信，在我的企业-->企业信息里查看 s...

这一版是写了个方法，把要监控的日志当成变量传一下 就开启监控日志内容了。实现实时警报。运行nohup python /root/error.py 日志路径 &以下是error.py内容#!/usr/bin/python# -*- coding: utf-8 -*import urllibimport urllib2import jsonimport sys, shu...

通过记录最后更新ID来去获取新数据同步MYSQL# -*- coding: utf-8 -*-import pymysqlimport sys#用自动任务的坑，不加这个自动任务跑不起，坑了我好久哇。reload(sys)sys.setdefaultencoding('utf8')#第一步打开本地ID记录文本record_id =open('test1.txt', 'r+')...