python模版

原创 2015年11月19日 12:01:33

最近代码的重复量太高了 找个时间整理一下 生成一个方便的模块模板


#!/usr/bin/env python
#-*- coding: utf-8 -*-

import sys
reload(sys)
sys.setdefaultencoding('utf-8')


import os,traceback,<span style="font-family: Arial, Helvetica, sans-serif;">logging</span>
<pre name="code" class="python">import multiprocessing
<pre name="code" class="python">import re

import jiebaimport ConfigParser,import datetimedef myprocess(num,indir,titles,lock):try:fin = open(indir + os.sep + str(num),'r')cnt0 = 0for line in fin:cnt0 += 1if cnt0 %100 == 0:print num,cnt0if cnt0 == 10000:breakdata = eval(line.strip())us_id = int(data[21])title
 = data[8]if title.strip() == '':continuewith lock:if title in titles:titles[title].append(us_id) else:titles[title]=[us_id]print num,'END'except Exception,e:traceback.print_exc()def func():indir = '/root/data/bids/data_all'outdir = './titles1119'#if not os.path.exists(outdir):#
 os.mkdir(outdir)start,end,add = 0,20,1manager = multiprocessing.Manager()lock = manager.Lock()titles = manager.dict()#开启进程池pool = multiprocessing.Pool(processes = 16)for num in range(start,end,add):pool.apply_async(myprocess,[num,indir,titles,lock])pool.close()pool.join()titles
 = dict(titles)with open(outdir,'w') as fout:for title in titles:print >> fout,'%s\t%s'%(title,titles[title])if len(titles[title])>1:print titles[title]if __name__ == '__main__':program = os.path.basename(sys.argv[0])logger = logging.getLogger(program)logging.basicConfig(format='%(asctime)s:
 %(levelname)s: %(message)s',filename = program+'.log',filemode='a')logging.root.setLevel(level=logging.INFO)logger.info("start running %s" % ' '.join(sys.argv))func()logger.info("end\t running %s" % ' '.join(sys.argv))





python编程常用模板总结

在我们编程时,有一些代码是固定的,例如Socket连接的代码,读取文件内容的代码,一般情况下我都是到网上搜一下然后直接粘贴下来改一改,当然如果你能自己记住所有的代码那更厉害,但是自己写毕竟不如粘贴来的...
  • xingjiarong
  • xingjiarong
  • 2016年02月11日 14:45
  • 21049

python 利用pip 安装 卸载 更新某个模块

在python的学习过程中,肯定会遇到很多安装模块的地方,可以使用easy_install安装,但是easy_install相对于pip而言,最大的缺陷就是它所安装的模块是不能够卸载的,其他功能是和p...
  • jly58fgjk
  • jly58fgjk
  • 2016年05月31日 20:43
  • 3836

python实现的模板生成脚本

最近项目需要,针对主项目提取一个小的基础版本,供于在新建项目时使用,所以就有这个python模板生成脚本,其作用如下: 1、通过配置文件来控制模板中的数据、格式化的过滤条件 2、执行后会把目录下所有的...
  • five3
  • five3
  • 2017年04月17日 10:35
  • 1430

Python网络编程08----Django模版

模板系统基本知识模板是一个文本文件(可以是HTML,XML,CSV等任何文本格式),同时包含了静态内容(例如HTML)和动态标记的逻辑,用于分离文档的表现形式和内容。 模板定义了占位符以及各种用于规范...
  • a359680405
  • a359680405
  • 2016年05月11日 11:56
  • 3288

详解Python的Django框架中的模版继承

在实际应用中,你将用 Django 模板系统来创建整个 HTML 页面。 这就带来一个常见的 Web 开发问题: 在整个网站中,如何减少共用页面区域(比如站点导航)所引起的重复和冗余代码? 解决该问题...
  • u012896330
  • u012896330
  • 2017年08月02日 13:44
  • 162

Python一日一练103----Django模版练习

要求 request.META 是一个Python字典,包含了所有本次HTTP请求的Header信息,比如用户IP地址和用户Agent。通过request.META.items()可得到这个字典。要...
  • a359680405
  • a359680405
  • 2015年01月23日 09:58
  • 1510

Python实现设计模式--04.模版方法模式(Template Method Pattern)

模版方法模式是设计模式中比较好理解的一种模式,
  • boy_vansun
  • boy_vansun
  • 2017年08月01日 21:55
  • 88

跟着鬼哥学爬虫-7-python微信-2-开始编写模版代码

跟着鬼哥学爬虫-7-python微信-2-开始编写模版代码
  • guiguzi1110
  • guiguzi1110
  • 2016年09月28日 14:55
  • 2791

无比强大!Python抓取cssmoban网站的模版并下载

Python实现抓取http://www.cssmoban.com/cssthemes网站的模版并下载 实现代码 # -*- coding: utf-8 -*- import urlpar...
  • yangwei19680827
  • yangwei19680827
  • 2014年05月15日 00:48
  • 2427

在Python的Django框架中加载模版的方法

在Python的Django框架中加载模版的方法 为了减少模板加载调用过程及模板本身的冗余代码,Django 提供了一种使用方便且功能强大的 API ,用于从磁盘中加载模板, ...
  • hello_katty
  • hello_katty
  • 2015年07月17日 09:21
  • 1933
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:python模版
举报原因:
原因补充:

(最多只允许输入30个字)