python
haichao062
这个作者很懒,什么都没留下…
展开
-
爬虫程序(一)---读取网页
读取网页时候,如果访问速度过快,会返回个timeout错误(10054),因此要在此做个try,并启用下一个代理。(代理可以百度,http 代理,要有端口号)。同时模拟浏览器,可以防止一些返回错误。 #读取网页函数def FormatHTML( url ): flag = True count = 0 sleep_download_time = 0 time原创 2012-10-12 09:16:46 · 2257 阅读 · 0 评论 -
用Python直接写UTF-8文本文件
当我们这样建立文件时f = file('x1.txt', 'w')f.write(u'中文')f.colse()直接结果应该是类似 f.write(u'中文')UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-16: ordinal not in range(12转载 2012-12-25 17:06:35 · 709 阅读 · 0 评论 -
安装Scrapy
在本地部署下Scrapy,安装过程中发现很是繁琐,依赖包有2个,分别是:twisted,lxml。要装twisted,还要安装zope.interface,PyopenSSL,安装lxml,还要libxml2等,所以装的比较麻烦,好歹以前装过lxml,所以这次主要装了下twisted。安装方法在这里http://www.cnblogs.com/CLTANG/archive/2011/07/原创 2012-12-28 19:08:44 · 595 阅读 · 0 评论 -
使用Easy_install 安装python站点包
Easy_install的安装在python中有很多是站点包的安装文件是.egg文件,如何安装这些.egg文件呢,使用Easy_install来安装这些文件更加容易。首先,在http://pypi.python.org/packages/2.6/s/setuptools/中下载相应版本的包,然后直接点击安装就可以,那么执行后在python根目录下的scripts文件夹里就会有easy_in原创 2012-12-28 17:04:03 · 1491 阅读 · 0 评论 -
关于arcpy.da.FeatureClassToNumPyArray的一些应用
import arcpyimport numpy as npfc=ur"E:\test.shp"array=arcpy.da.FeatureClassToNumPyArray(fc,("Name_CHN","Price"))print array[array["Name_CHN"]==u"北京市"]["Price"].ptp()print array[array["Name_CHN"]原创 2013-03-14 15:51:28 · 2405 阅读 · 0 评论 -
Django 解决 csrf_protect的方法
直接看别人的页面吧~~http://www.qttc.net/201209211.html转载 2013-11-14 16:16:58 · 7090 阅读 · 0 评论 -
挖坑中....urlencode
爬虫的时候遇到了urlencode,urldecode的问题,用下面函数,可以把 汉字 urlencodedef my_urlencode(str): key = str; mass = {} mass["key"] = key params = urlencode(mass) return params 使用fiddler可以对浏览器进行抓原创 2012-11-14 13:03:11 · 701 阅读 · 0 评论 -
爬虫程序(二)---读取网页
第一个写的爬虫网页是在去年,后来原创 2014-07-09 11:51:33 · 3442 阅读 · 0 评论 -
拉塞尔·威斯布鲁克(Russell Westbrook)投篮分析
今天抓到了威少的2014-2015常规赛出手点数据,心血来潮的放到了arcgis里,做下空间分析。首先,我们看下威少的出手点数据,数据一共采集约1400次投篮,做成密度图,如下:可见,篮下是主要出手点,但罚球弧附近,三分线外均能出手。果然NB。但看出手点不行,还要看结果,出手并命中的点继续做密度图,并加以分级,如下:出手成功率最高的几个位置一目了然….原创 2015-08-18 23:02:07 · 3194 阅读 · 0 评论 -
python 问题整理
1. python处理不规范的 json网上获取的json文件经常是从js代码中提取的,会出现缺失双引号(")的情况。如下:jsonString={Id:1538,NameCn:"遵义世纪星光影城",CityId:448,DistrictId:1451,MovieIds:"",Index:2}这种使用 Json.loads()根本解析不了,所以可以使用正则表达式进行处理,代码如原创 2015-10-28 14:55:51 · 797 阅读 · 0 评论 -
Psycopg2学习
一、概述>>> import psycopg2# Connect to an existing database>>> conn = psycopg2.connect("dbname=test user=postgres")# Open a cursor to perform database operations>>> cur = conn.cursor()# Execu原创 2012-12-20 18:14:42 · 1709 阅读 · 0 评论 -
List 列表排序
对列表进行排序使用列表的sort()函数。1、sort()函数 sort()函数使用固定的排序算法对列表排序。sort()函数对列表排序时改变了原来的列表,从而让其中的元素能按一定的顺序排列,而不是简单的返回一个已排序的列表副本。 注意sort()函数改变原来的列表,函数返回值是空值即None。因此,如果需要一个已排好序的列表副本,同时又要保留原有列表不变的时候,就不能直接简单原创 2012-11-15 14:15:06 · 531 阅读 · 0 评论 -
设置Date类型,调用的 datetime 模块
import datetimedef SetDate(Date): Num=re.compile('[\d]+') DateNum=Num.findall(Date) Len=len(DateNum) completion=datetime.date.min if(Len==0): completion=datetime.date.min原创 2012-10-15 10:36:23 · 435 阅读 · 0 评论 -
关于arcpy中的Cursor,for循环问题
MyDbf=ur'@.dbf'Navi=ur'@.shp'MyCurs=arcpy.UpdateCursor(MyDbf)#第一个指针#NaviCurs=arcpy.SearchCursor(Navi)#如果将第二个指针放在这里,则第一遍到头后,指针就到底了,因此,要将指针放在第一个循环内部print( time.strftime('%H:%M:%S',time.localtime()))原创 2012-10-16 16:51:46 · 4465 阅读 · 0 评论 -
levenshtein_distance(字符串相似度算法)
# -*- coding: utf8 -*-#字符串相似度算法#!/usr/bin/env python__author__ = 'Administrator'def levenshtein(a,b): "Calculates the Levenshtein distance between a and b." n, m = len(a), len(b) if转载 2012-10-17 09:09:44 · 4173 阅读 · 4 评论 -
python 装饰器'@'
装饰器一直不是很容易理解,在网上找了一篇文章对装饰器的解释是最好的。转给大家以共享。Python中函数有一个装饰器的概念,今天,看核心编程中的函数一章的时候接触到了这个概念,炸一看来,讲的说明真实不好明白。于是写下本篇以示说明,提供给迷糊者。希望能对一些人起到一定的帮助 装饰器的语法以@开头,接着是装饰器要装饰的函数的申明等。其实总体说起来,装饰器其实也就是一个函数,一个用来包装转载 2012-10-17 09:28:38 · 624 阅读 · 0 评论 -
python编码与反编码 decode('unicode-escape')
“反编码”我自己起的名字,大概意思就是我得到一串字符,是unicode码,如:‘\u53eb\u6211’,进行反编码后得到其对应的汉字。f='\u53eb\u6211'print fprint(f.decode('unicode-escape')) 结果为:\u53eb\u6211叫我原创 2012-10-24 15:24:47 · 35140 阅读 · 2 评论 -
将python导入注册表
## script to register Python 2.0 or later for use with win32all# and other extensions that require Python registry settings## written by Joakim Loew for Secret Labs AB / PythonWare## source:# h转载 2012-11-03 16:25:47 · 1053 阅读 · 0 评论 -
关于arcpy中Table,FeatureClass处理中常用工具整理
1、遍历工具:ListFeatureClasses ({wild_card}, {feature_type}, {feature_dataset})ListTables ({wild_card}, {table_type})相关链接:http://help.arcgis.com/zh-cn/arcgisdesktop/10.0/help/index.html#/na/000v00000原创 2012-10-25 09:59:26 · 3601 阅读 · 0 评论 -
全角转半角,arcgis中处理featureClass数据
#全角转半角def strQ2B(featureClass):#把字符串全角转半角 rows=arcpy.UpdateCursor(featureClass) for row in rows: rstring="" ustring=row.NAME_CHN for uchar in ustring: ins原创 2012-10-25 09:34:41 · 1902 阅读 · 0 评论 -
Python学习之 string
1、string模块支持哪些字符形式?分别是什么。 string支持的字符形式有:('_re', '====>', )('ascii_letters', '====>', 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ')('ascii_lowercase', '====>', 'abcdefghijklmnopqr原创 2012-11-15 11:11:17 · 1725 阅读 · 1 评论 -
使用arcpy求取地形起伏度的最佳统计单元
使用DEM求取地形起伏度(ReliefAmplitude)原创 2014-07-31 16:24:15 · 7860 阅读 · 14 评论