python
文章平均质量分 56
宁无竹
这个作者很懒,什么都没留下…
展开
-
随时统计linux日志输出速度
经常要查看一些日志的输出速度,用来判断是否有速度异常等如果全部加上监控的话会很麻烦,而且可能看了一次就再也不看了,是否有一个工具可以马上看到日志的输出速度呢?我给大家写了一个代码很简单,文件名log_speed.py#!/usr/bin/env python#coding:utf8import sysimport timecount = 0time_start = time.time()while True: row = sys.stdin.readl.原创 2021-03-08 20:47:03 · 469 阅读 · 0 评论 -
python过滤引起xml报错的非utf8字符
很久以前只有ascci这个东西,他是单字节的,我们知道一个字节 是0x00-0xff,所以assci中 0x00-1f是控制符,0x20-0x7e是可显示字符 ,0x7f 是删除,至于0x7f以上的 貌似没啥用,这些字符一般都会造成乱码,而且在我们日常的网页,xml,等普通文本中,0x0-01f 一般也都是乱码,只有0x09 0x0a 0x0d 代表 \t \n \r 可以使用,...原创 2019-06-22 18:53:55 · 761 阅读 · 0 评论 -
如何设计一个健壮而且厉害防爬策略
0.首先你得有一个能扛住爬虫的可以计算黑白名单的数据库,当然我们选择redis,单台 qps 达到20000+,杠杠的,然后你得在不影响业务的情况下来验证爬虫,我们可以通过异步读取nginx的access.log进行校验,前台只需要在关键的功能点判断一下ip是否在黑名单即可1. 同一个ip在某个功能点一秒两次请求算爬虫,将ip加入黑名单,防住大部分的爬虫2 .截取一段请求列表,如果某一个u...原创 2018-01-08 21:50:41 · 457 阅读 · 0 评论 -
一个用python写的websocket服务端
由于要在页面上调用后台的一个shell程序,但是这个shell执行时间很长,如果异步获取shell的输出?而不必漫长的等待shell执行完毕才会一下把数据全部输出?我们知道原生的http协议不可能完成这个要求,除非你把输出更新到一个文本里,然后用js伦询去取,这不扯淡吗因为是内部的程序,当然有这样要求的程序基本都是内部,或者小团体使用,所以,尝试一下websocket吧先研...原创 2012-11-28 17:30:23 · 16175 阅读 · 4 评论 -
python写个简单的文件上传是有多难,要么那么复杂,要么各种,,,老子来写个简单的
def upload(url,params): ''' 上传文件到服务器,不适合大文件 @params url 你懂的 @params {"action":"xxx","@file","file_path"} 普通参数 key:value 文件key头部加@ ''' import os import urllib2 BOUNDAR原创 2014-06-24 15:10:22 · 1386 阅读 · 0 评论 -
一个手机控制网页的例子
用手机通过websocket和网页进行通信,中间利用二维码进行验证地址:http://www.moosun.cn/card/原创 2014-02-08 15:20:45 · 1706 阅读 · 0 评论 -
python:MySQLdb把查询记录变成像php那样的字典
看MySQLdb的例子,大多返回结果是个元组,或者是数组,这样用起来非常不方便,如果能返回字典就好了,怎么办呢?网上找了很多教程,发现很麻烦,其实MySQLdb自带了这个功能,看代码db = MySQLdb.connect(host=host,db=db,user=user,passwd=passwd,charset='utf8',port=port)cur = db.curso原创 2013-12-20 10:42:33 · 1056 阅读 · 0 评论 -
python的memcache使用如果对key设置了一个int型
如果对key设置了int型,会出现不可预知的错误,这个问题纠结了我好久,最终还是加了个str(),切忌切忌原创 2013-08-29 22:59:51 · 922 阅读 · 0 评论 -
用python给MP3加封面图片,修改作者,专辑等信息
如何给MP3加封面呢,当然用iturns,千千静听当然是可以的,但是如果用程序来自动加封面呢,研究linux的ffmpeg,发现用这个加专辑信息还是容易的,但是封面始终加不上,无法,去研究mp3文件的编码吧用来描述MP3信息的head有两个大版本,分别是idv2和idv3,idv2放在文件尾部,只能描述一些简单的信息,idv3就厉害了,可以添加图片,和其它各种信息,包括自定义信息我们只研究原创 2013-05-12 21:55:07 · 6191 阅读 · 3 评论 -
让ie6也支持websocket
ie9都不支持websocket,何况ie6,但是websocket能开发那么酷的功能,怎么能让ie拦住我们的脚步?但是怎么办?用flash封装吧具体的flash代码如下:package { import flash.display.Stage; import flash.display.Sprite; import flash.event原创 2012-12-26 15:24:17 · 3989 阅读 · 4 评论 -
mp3头解析,id3v2.3.0 id3v2.4.0
# -*- coding:utf-8 -*- import structdef decode(x): #如果按照正常算法得到的synchsafe integer,解析成 真正的整数大小 a = x & 0xff; b = (x >> 8) & 0xff; c = (x >> 16) & 0xff; d = (x >> 24) & 0xff; x_fi原创 2013-05-08 23:20:35 · 3646 阅读 · 3 评论 -
四位数黑洞问题
import sysnum = sys.argv[1]def test(num): num = str(num) x = [] for k in num: if int(k) not in x: x.append(int(k)) for i in range(4-len(x)): x.append(0)原创 2012-11-22 18:15:45 · 1687 阅读 · 0 评论 -
关于数据库连接池
最近在弄个短信平台的东西,需要不断请求数据库,本以为一个数据库连接一直保持,用起来无压力,结果由于程序为多线程,可能许多查询,是并发的,这就导致了大量的查询报,lost connect during query,报这种错误的原因,我想和mysql的数据通信协议,你在发送一个包,还没发完,就来一个新包了,导致协议错乱,mysql肯定要断开你的连接了,所以,既然mysql支持,并发,何必浪费只单连一个原创 2012-11-09 17:18:27 · 727 阅读 · 0 评论 -
一个查找的问题
你要统计一个网站有多少个链接,就需要去跑一个spider,里边 有个链接重复的问题,你需要判断是否存在,正常的算法,是便利一遍你已经得导的链接列表,小量数据木有问题,大量的话就慢了。 可以把链接的存储做成一棵树。因为某一个网站的链接是有固定的规律的,一级目录,二级目录,甚至三级代码如下:class urlDetail: '''链接信息'''原创 2012-11-09 17:17:19 · 608 阅读 · 0 评论