python
nimade511
这个作者很懒,什么都没留下…
展开
-
LWPCookieJar的使用
LWPCookieJar是python中管理cookie的工具,可以将cookie保存到文件,或者在文件中读取cookie数据到程序写入cookie到文件 from cookielib import LWPCookieJar cj = LWPCookieJar() cj.set_cookie(cookielib.Cookie(version=0,name=s_cookie['n原创 2016-09-14 17:44:16 · 8671 阅读 · 1 评论 -
python vim配置
set nocompatible " required filetype off " required" set the runtime path to include Vundle and initialize set rtp+=~/.vim/bundle/Vundle.vim call vundle#begin()" alternati原创 2017-05-11 15:43:59 · 504 阅读 · 0 评论 -
python操作solr
solr接收http请求,所以使用requests库操作solr就可以添加 data = {"add": {"doc": params, "commitWithin": 1000}} headers = {"Content-type": "application/json"} re = requests.post(url=url, data=json.dumps(data),原创 2017-02-28 19:15:22 · 1945 阅读 · 0 评论 -
python redis实现bloomfilter
原理 用于海量数据去重,对数据经多次hash,放入bitmap,由于采用hash算法,可能数据可能重复,所以使用前务必按照公式计算错误率 实现# coding:utf-8 import redis import mmh3REDIS_HOST = "192.168.159.128" TEN_M = 50 * 1024 * 8 BF_KEY = "bf_key" redis_client = red原创 2017-03-08 19:06:59 · 1316 阅读 · 0 评论 -
stomp协议
stomp协议简介 stomp协议是消息框架中的通信协议 通信格式是文本结构类似于HTTP 可以互操作 stomp文本结构 COMMAND header1:value1 header2:value2 Body^@ 命令 SEND SUBSCRIBE UNSUBSCRIBE BEGIN COMMIT ABORT ACK原创 2016-12-30 17:36:31 · 414 阅读 · 0 评论 -
selenium + PhantomJS 操作
在网站模拟登陆的时候可能会遇到复杂的JS操作,如果用程序去模拟会很复杂,而且可用性很差,所以这个时候就需要用模拟浏览器操作。 selenium提供一系列操作接口可以操作firefox,chrom,phantomjs PhantomJS是无头浏览器,没有界面所以效率很高 安装python selenium安装 pip install seleniumphantomjs安装 wg原创 2016-10-19 14:35:35 · 404 阅读 · 0 评论 -
requests 使用代理验证
from requests.auth import HTTPProxyAuthurl = ... timeout = ... headers = {} auth = HTTPProxyAuth(user, password) proxies = {"http": "http://%s:8010/" % host} if url.startswith("https:"): url = "htt原创 2016-08-29 15:26:13 · 3430 阅读 · 0 评论 -
python操作Mysql数据库
安装下载安装: https://pypi.python.org/pypi/MySQL-python/1.2.5操作#!/usr/bin/python # -*- coding: UTF-8 -*-import MySQLdb# 打开数据库连接 db = MySQLdb.connect("localhost","testuser","test123","TESTDB" )# 使用cursor()方法获原创 2016-08-29 15:54:43 · 377 阅读 · 0 评论 -
requests 下载图片
import requests r = requests.get( url=url, headers=headers, stream=True) with open("img/1.jpg", 'ab') as f: for chunk in r.iter_content(chunk_size=1024): if chunk:原创 2016-09-01 16:46:59 · 664 阅读 · 0 评论 -
MySQL数据库优化
查看innodb状态 show engine innodb status; 查看执行的sql show full PROCESSLIST; 关闭sql kill PID; 查看sql执行状态 explain sql SYSTEM CONST的特例,当表上只有一条元组匹配 CONST WHERE条件筛选后至多一条元组匹配,如,主键匹配 EQ_REF原创 2016-09-02 21:00:42 · 192 阅读 · 0 评论 -
PIL图片操作
分割im = Image.open(PATH) crop_im = im.crop((x1,y1,x2,y2))#(x1,y1),(x2,y2) crop_im.save(TARGET_PATH)拼接im = Image.new("RGB",(256, 210), (255, 255, 255))#(256,210)大小,(255,255,255)背景色 im.paste(image,(160,10原创 2016-09-08 16:10:27 · 282 阅读 · 0 评论 -
爬虫dns cache设置
设置代理服务器squid的dns positive_dns_ttl 6 hours #设置为6小时,这个值取dns返回的ttl最小值 dns_nameservers 8.8.8.8 #设置google dns服务器 设置nscd enable-cache hosts yes #和squid设置差不多 python requests设...原创 2018-03-09 21:15:22 · 929 阅读 · 0 评论