- 博客(49)
- 收藏
- 关注
原创 requests 模拟请求在gevent和asyncio 中的阻塞问题
在学习asyncio 中,我们发现用 requests包发起http请求时,无法实现异步io。 原因是因为request包 并不是非阻塞的,所以无法实行异步io ,只能使用Python3的aiohttp,或者socket 之类的可以设定为非阻塞的io操作。但是在看gevent的时候,发现了不同的问题,当我用gevent 使用多个requests 发起http请求时,却实现了异步io。 所以感觉...
2018-03-17 16:11:27
3857
原创 asyncio 异步爬虫
基于Python3.5 的asyncio 的 异步爬虫案例:我们会实现以下功能: 1: 单进程 实现并发 异步爬虫 2: 解决并发过多报错 too many file descriptors in select 3: 实现异步 master-worker 主从模式以下是具体代码实现:1: #coding:utf-8import time,asyncio,aiohttp...
2018-03-06 00:12:13
4203
2
原创 神经网络 tensorflow教程 2.2 下载MNIST 数据集 (自动版)
文章参考: https://zhuanlan.zhihu.com/p/25934529环境:语言 :python3.5(使用 Anaconda3-4.2.0-Windows-x86_64.exe)操作系统: windos7创建python 文件并执行 自动将数据集下载并展示前100条#coding:utf-8import tensorflow.ex
2017-12-03 20:59:34
1097
原创 神经网络 tensorflow教程 2.2 下载MNIST 数据集(保存所有图片)
场景:语言 :python3.5(建议使用 Anaconda3-4.2.0-Windows-x86_64.exe)操作系统: windos7文件下载路径解压到 F:\mnist创建两个字文件 F:\mnist \test 和 F:\mnist \test_label数据集下载地址:http://yann.lecun.com/exdb/mnist/下载对
2017-12-03 20:13:26
860
原创 C 链表的实现
#include typedef struct _node {int value;struct _node *next;/* 类型使用struct _node 是因为 自定义了一个数据结构类型 struct _node ,所以这里声明了一个指针。 意思是下一个struct _node 的指针*/ } Node;void main(){/
2017-11-24 17:25:06
214
转载 FreeBSD下的开机自启动
http://xiang.lf.blog.163.com/blog/static/127733322201242611158750
2017-11-08 18:15:01
1131
转载 http 请求转发服务器
代码源地址忘了# coding=utf-8import socketimport selectimport systo_addr = ('172.10.10.60',80) # 转发的地址class Proxy: def __init__(self, addr): self.proxy = socket.socket(socket.AF_INET
2017-11-08 10:37:11
1677
原创 django 远程连接mysql数据库,表变更
连接mysql 数据库 并生成对应的各种表:1. 安装 mysql, 安装Python mysqldb .2. 进入django 工程文档 settings.py文件。设置数据库:DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME':
2017-08-30 11:50:12
943
转载 安装 MySQLdb
yum install gcc python-devel mysql-devel -y执行完之后进入Python import MySQLdb 验证是否安装成功由于下面的文档,都没有介绍依赖条件的安装,造成安装过程非常迷茫,耗时一个小时~一句话,上面的任何一台服务器,把可以装的开发包,都装上,省很多事。http://pypi.python.org/
2017-08-28 17:15:31
791
原创 flask django 上传文件
采用wtf 上传文件设置表单:def parse_directory(self, response): hxs = Selector(response) for li in hxs.xpath('//ul[@class="directory-url"]/li'):class Up_file_Foem(FlaskForm): body =
2017-08-11 16:50:08
393
原创 celery 分布式实现
celery 分布式实现 原理很简单。 当你讲任务队列rabbitmq 或redis启动后。再启动celery的work程序。 启动多少task。任务队列就会将任务依次分发到work程序中。 如果分布式 则只需要改任务队列所在服务器ip即可。1. 首先启动任务队列 Linux下进入root权限 sudo rabbitmq-server 不报错则正常启动。
2017-08-04 17:01:08
556
转载 requests session获取当前cookie cookie对象转字典 字典转对象
session 获取cookies=session运行get请求s.cookies 即是cookie对象#实例化一个LWPCookieJar对象load_cookiejar = cookielib.LWPCookieJar()#从文件中加载cookies(LWP格式)load_cookiejar.load('cookies/' + self.username
2017-07-13 17:56:54
1800
原创 三元组(a,b,c)标识a币种到b币种的汇率为c,反向亦成立。 输入一堆这样的三元组,再指定两个币种x y,问x->y的汇率是多少? 请编程实现,并给出时间、空间复杂度。
三元组(a,b,c)标识a币种到b币种的汇率为c,反向亦成立。输入一堆这样的三元组,再指定两个币种x y,问x->y的汇率是多少?请编程实现,并给出时间、空间复杂度。
2017-07-11 17:54:49
420
原创 request session
# -*- coding:utf8 -*-import requestsfrom lxml import etreeheaders = { # 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', # 'Accept-Encoding
2017-06-30 20:18:21
285
转载 模拟登录知乎
# !/usr/bin/env python3# -*- coding: utf-8 -*-'''Required- requests (必须)- pillow (可选)Info- author : "xchaoinfo"- email : "xchaoinfo@qq.com"- date : "2016.2.4"Update- name : "wangmengcn
2017-06-30 15:11:29
453
原创 request post 模拟登录 csdn 获取保存cookie
# -*- coding=utf-8 -*-import requestsfrom lxml import etreeheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.
2017-06-29 18:11:57
967
原创 centos6.8 安装 Python 2.7
rpm -ivh http://repo.webtatic.com/yum/el6/latest.rpmrpm -ivh http://mirrors.aliyun.com/epel/6/x86_64/epel-release-6-8.noarch.rpmrpm -ivh https://mirrors.tuna.tsinghua.edu.cn/repoforge/redhat/el6/e
2017-06-22 15:56:49
404
原创 爬虫 xpath 的使用与范例
#coding:utf-8from flask import Flaskimport requestsfrom lxml import etreeapp= Flask(__name__)app.debug =True#爬取小说并返回到前台@app.route('/',methods=['GET','POST'])def index(): r = requests.get
2017-06-14 16:38:19
443
原创 Flask 邮箱验证设置
class Config: SECRET_KEY = os.environ.get('SECRET_KEY') or 'hard to guess string' SQLALCHEMY_COMMIT_ON_TEARDOWN = True SQLALCHEMY_TRACK_MODIFICATIONS = False MAIL_SERVER = 'smtp.163.co
2017-06-13 17:25:52
1622
原创 文件字节转化为对应大小
# -*- coding=utf-8 -*-def size(bytes):#传入文件字节 获取文件大小 def g(x): x = list(str(x)) def s(x): if x[-1] == '0': del x[-1] s(x)
2017-06-12 16:05:30
924
原创 windos和linux 下遍历下级文件及文件夹
会自动生成#-- coding: utf-8 --import osclass some(): def get_list(self ,dir, id=0): dirs = [] filses = [] alla = [] ids = [] fid = id try:
2017-06-09 14:49:33
332
转载 Python 获取指定目录下级文件
#coding:utf-8import ospath = "/home/djl/project"dirs = os.listdir( path )print dirs
2017-06-07 17:28:02
964
转载 Python 判断文件和文件夹是否存在
import os os.path.isfile('test.txt') #如果不存在就返回False os.path.exists(directory) #如果目录不存在就返回False
2017-06-07 15:45:09
329
原创 Python 求两个 list 的交集和差集
有时候,为了需求,需要统计两个 list 之间的交集,并集,差集。查询了一些资料,现在总结在下面:1. 获取两个list 的交集#方法一:a=[2,3,4,5]b=[2,5,8]tmp = [val for val in a if val in b]print tmp#[2, 5]#方法二print list(set(a).int
2017-06-07 13:59:51
871
原创 python 执行linux命令
执行linux命令 使用 os模块。1. system2. os.popen3. 使用模块 subprocess4 . 使用模块 commands
2017-06-05 16:44:29
512
原创 Tkinter选择路径功能的实现 Python2.7
Python 2.7 下使用。 其他版本不保证正确性。# -*- coding:utf8 -*-from Tkinter import *import tkFileDialogdef selectPath(): path_ = tkFileDialog.askopenfilename(filetypes=[("bmp格式".decode('gbk'),"py")])
2017-05-24 16:48:58
6015
3
原创 Python 读取指定目录下的所有子目录及所有文件
借鉴的 http://blog.csdn.net/pipisorry/article/details/46972171 但是他的代码有些问题。 在此更改后发出扫描指定目录下的文件,或者匹配指定后缀和前缀的文件。如果要扫描指定目录下的文件,包括子目录,调用scan_files("/export/home/test/")如果要扫描指定目录下的特定后缀的文件(比如
2017-05-24 14:34:09
5251
转载 详细记录python的range()函数用法
使用python的人都知道range()函数很方便,今天再用到他的时候发现了很多以前看到过但是忘记的细节。这里记录一下range(),复习下list的slide,最后分析一个好玩儿的冒泡程序。这里记录一下:>>>range(1,5)#代表从1到5(不包含5)[1,2, 3,4]>>>range(1,5,2)#代表从1到5,间隔
2017-05-24 10:19:31
219
原创 Python 图形界面 Tkinter 实现倒计时
# Countdown using Tkinter from Tkinter import *import timeimport tkMessageBoxclass App: def __init__(self,master): frame = Frame(master) frame.pack() self.entryWidget
2017-05-23 17:20:54
8670
原创 Python 图形界面 GUI Tkinter 实例
Python 实现图形化界面 # -*- coding: cp936 -*-from Tkinter import *import tkMessageBoxclass Application(Frame): def __init__(self, master=None): Frame.__init__(self, master) se
2017-05-23 15:53:16
6707
原创 ConfigParser 读取 config 配置文件
首先是 配置文件, host.conf[easyiaas]host = 10.10.10.242port = 10000number = 10然后是Python文件# -*- coding=utf-8 -*-import ConfigParsercf = ConfigParser.ConfigParser()cf.read('./host.conf')#
2017-05-19 17:31:26
1468
原创 django json 接口获取返回
当别的app访问django的api的时候,通常使用json传递数据。 以下为实例: #coding:utf-8import requestsimport jsonfrom django.shortcuts import renderfrom django.http import HttpResponsefrom models import Server, Clo
2017-05-16 16:04:10
1217
原创 socket 接口测试实例 tcp连接 Python 2.7
实现功能为客户端向服务器端发送数据请求,测试接口状况主机:# -*- coding: cp936 -*-from socket import *from time import ctimeHOST='127.0.0.1'PORT = 8080BUFSIZ=1024ADDR=(HOST, PORT)sock=socket(AF_INET, SOCK_STREAM)
2017-05-15 10:13:30
4364
转载 socket 实例
目前找到个教程实例,先保存有时间再看:http://www.cnblogs.com/GarfieldTom/archive/2012/12/16/2820143.html
2017-05-05 17:37:25
350
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人