python
A873054267
这个作者很懒,什么都没留下…
展开
-
python制作云词图
云词图原创 2022-11-09 16:26:24 · 711 阅读 · 1 评论 -
根据经纬度范围爬取底图-以mapbox黑色底图为例
智慧城市项目中经常会涉及到离线部署的问题,底图就是不得不解决的一个问题点了。此前写过的底图爬虫适用于全球底图的爬取,但实际上很多时候做的只是一个范围的,不需要那么大的数据量,因此写了一个根据经纬度范围爬取的脚本。mapbox底图需要自己申请tokenimport mathimport osimport urllib.request#起始经纬度startCoor=[119.2,35.2]#终止经纬度endCoor=[121.1,37.2]#下载目录rootDir=r"D:\cs原创 2020-10-09 10:39:53 · 1283 阅读 · 1 评论 -
瓦片地图爬虫
今天下载地图下载器,被win10删除,没法用了,所以被迫搞了个爬虫爬BAT的地图,需要设置headers什么的,暂时就不搞了,后面遇到再说吧# coding: utf8import urllib.requestimport osimport mathdef download_img(img_url, path,imgname): request = urllib.request.Request(img_url) try: response = urlli原创 2020-07-15 17:42:35 · 620 阅读 · 0 评论 -
python批量查询两地的行驶距离
# encoding: utf-8import jsonimport requestsimport pandas as pddef getLngLat(name): url='http://api.map.baidu.com/geocoding/v3/?output=json&ak=&address=申请的应用端token'+name res = requests.get(url) content=res.content jsonv=json.loa.原创 2020-06-12 14:28:15 · 3243 阅读 · 4 评论 -
python合并excel,区分隐藏列和非隐藏列
import pandas as pdfrom openpyxl import load_workbookimport os#输入路径dir = r"C:\Users\lyp\Documents\WeChat Files\W2956224\FileStorage\File\2020-04\res"#设置工作路径#合并后的输出路径shuchu='D:\\merge\\sheet2.xl...原创 2020-04-03 14:22:34 · 1935 阅读 · 2 评论 -
python合并excel
常用的是pandas读写,但对于一些有格式的表格,pandas无论如何不能跳过某些格式行。导致合并之后出问题import osimport pandas as pdimport numpy as npimport xlrddir = r"C:\Users\lyp\Documents\WeChat Files\W2956224\FileStorage\File\2020-04\re...原创 2020-04-03 12:43:16 · 408 阅读 · 0 评论 -
python 爬取noaa数据
目标爬取该路径下的所有tif数据https://data.ngdc.noaa.gov/instruments/remote-sensing/passive/spectrometers-radiometers/imaging/viirs/mosaics/实现思路:构造所有的文件夹路径遍历a标签拿到所有的下载链接,判断是tif结尾的就下载由于影像文件相对较大,增加了进度的显示...原创 2020-04-02 16:55:08 · 1433 阅读 · 0 评论 -
arcpy实现display as XY,将表格 展开到arcmap中
帮助文档里面的,记录一下,以防后期找不到# MakeXYLayer.py# Description: Creates an XY layer and exports it to a layer file# import system modules import arcpyfrom arcpy import env# Set environment settingsenv.wo...原创 2019-03-12 10:41:33 · 843 阅读 · 0 评论 -
numpy取出某列值为none或者nan的
none值可以通过 某列值是Not none来判断,这句感觉有点bug,是反的,对于只有两行的记录没有问题,但是存在多行的时候就不行了,本文后来的做法是遍历ndarray,判断某列值是否为none,然后加入列表,重新生成ndarray。import numpy as npk=Nonecs=[[1,3],[2,k]]cs=np.array(cs)cs2=cs[(cs[:, 1] is ...原创 2019-04-01 22:29:08 · 3655 阅读 · 1 评论 -
'module' object has no attribute 'SSLContext' python2.7
由于arcgis自带的python版本是2.7的,我的用的10,1。python版本是2.7.2.导致flask模块里面没有这个SSLContext,看网上解释是2.7.9才引入的,因此直接将图中的部分改掉即可。点击错误的693行,即可定位...原创 2019-04-11 15:37:28 · 2065 阅读 · 2 评论 -
爬取马蜂窝旅游信息
景点到访人数# encoding: utf-8import requestsimport jsonimport reimport csvfrom bs4 import BeautifulSoup#连接写入提交lists=[]dicts={}ss=0for i in range(1,20): url="http://www.mafengwo.cn/mdd/bas...原创 2019-05-06 10:02:08 · 1016 阅读 · 0 评论 -
Excel分组存为多个文件
import pandas as pd#excel路径excelpath=r'C:\Users\h\Desktop\cs.xlsx'df=pd.read_excel(excelpath)groupByNew = df.groupby('name', sort=False)for name, groupData in groupByNew: print(name) exc...原创 2019-06-19 16:16:44 · 584 阅读 · 0 评论 -
excel数据分组存到一个excel的多个sheet中
import pandas as pdfrom openpyxl import load_workbook#excel路径excelpath=r'C:\Users\h\Desktop\cs.xlsx'df=pd.read_excel(excelpath)groupByNew = df.groupby('name', sort=False)#输出的excel路径,需预见建好write...原创 2019-06-19 16:23:32 · 862 阅读 · 0 评论 -
python 爬取腾讯宜出行人流量数据
原文如下https://github.com/liujiao111/map-easygo/blob/master/README.md实现步骤原文大致讲了:1 安装相应模块,各个文件里面的包都要安装,主要涉及pandas,selenium,requests:作者自定义的包引入在pycharm下会报错,但是不会影响使用2 更改qqlist.py配置文件补充一点:这里是...原创 2019-06-15 12:36:06 · 9517 阅读 · 4 评论 -
python执行sql无结果,但是sql在数据库中正常
添加这句即可cursor.fetchall()我也不知道问题出在哪里,之前不用这句也可以遍历出结果的。原创 2019-03-14 11:00:08 · 2638 阅读 · 0 评论 -
python读取excel指定列名,dataframe连接,两列相减作为第三列的值
# encoding: utf-8import arcpyimport xlrdimport pandas as pdpath=r"D:\pyWork\resultAna\dl"day=29while(day>28): pp=path+"\\ppday"+str(day)+".xls" cs = path + "\\csday" + str(day) + ".x...原创 2019-03-03 21:45:30 · 9549 阅读 · 0 评论 -
pycharm显示右边窗口 Special variable 2018
点击倒三角选择编辑配置勾选图中选项重启即可原创 2018-11-06 16:44:12 · 7948 阅读 · 0 评论 -
python直接运行和cmd调用结果不同
不知道是什么原因,cmd调用脚本每次执行的结果都不一致,后来发现要切换到脚本所在目录才不会出错原创 2018-12-12 15:34:17 · 2449 阅读 · 0 评论 -
python Unicode与中文连接
只需要在程序开头加上这句import sysreload(sys)sys.setdefaultencoding('utf-8')原创 2019-01-25 17:51:22 · 348 阅读 · 0 评论 -
python爬取链家房屋及经纬度信息-以宁波为例
铺垫工作1:寻找你需要的城市的url。2 :获取每栋房屋的详情url。3:获取具体信息4:利用百度API解析地址返回经纬度(其实在链家的网站上已经返回了经纬度,但是不知道为何拿不到res.text,有待研究)# encoding: utf-8import jsonimport requestsfrom bs4 import BeautifulSoupimport r...原创 2019-01-25 17:59:04 · 4339 阅读 · 0 评论 -
python unicode转int/float
v= float(cur.encode("utf-8"))- float(last.encode("utf-8"))原创 2019-01-21 12:30:28 · 4531 阅读 · 0 评论 -
python提取中文首字母
def multi_get_letter(str_input): if isinstance(str_input, unicode): unicode_str = str_input else: try: unicode_str = str_input.decode('utf8') except: try: ...转载 2019-02-16 14:59:43 · 1316 阅读 · 0 评论 -
python实现数据库中两行相减并依次更新(类似于加速度计算)
#数据库中的数据为轨迹数据,包括多辆出租车的多时段定位。因此首先根据出租车编号,定位时间排序,这样可以做到依次更新。由于update必须要有一个where条件,因此添加ID作为标识键。首先计算出每辆车所有定位点的加速度,其长度与表的长度一致,然后依次更新即可。# encoding: utf-8import pymssqlimport numpy as npimport ar...原创 2019-02-18 19:24:34 · 2774 阅读 · 0 评论 -
python update sqlserver无效
原因是在执行后需要提交才会生效sql = "update outputcs set a="+str(value)+" where [ID] ="+str(count)print sqlcursor.execute(sql)conn.commit()原创 2019-02-18 19:25:19 · 938 阅读 · 0 评论 -
python面向对象学习系列-1 hello 面向对象
# encoding: utf-8import arcpyclass person(): def __init__(self,name,age): self.name=name self.age=age def getAge(self): print self.agep1=person("lyp",23)p1.getAge(...原创 2019-02-24 15:07:25 · 192 阅读 · 0 评论 -
python面向对象学习系列-2 一些约定俗成的规定
变量/名称前面加__name__表示对象的私有变量/方法,实际上外部也可以访问。入口函数一般定义为main()一般会添加一个if __name__ == '__main__': 来判断是否是别的函数调用还是自身调用。...原创 2019-02-24 18:20:49 · 251 阅读 · 0 评论 -
python面向对象学习系列-3 继承、模块化、多态
1、模块化,初学,实现相对引入包就可以了,,否则不能引入 2继承3 多态后期再补充原创 2019-02-25 10:58:02 · 191 阅读 · 0 评论 -
python绘制等高线图
# encoding: utf-8import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom mpl_toolkits import mplot3dfig=plt.figure()x_line=np.linspace(-6,6,30)y_line=np.linspace(-6,6,30)X,Y=...原创 2019-02-25 22:25:58 · 4257 阅读 · 0 评论 -
python数据分析学习之-numpy功能大纲
Numpy创建numpydata=np.array([1,2,3,4,5]) 改变数据类型data2=data.astype(np.float)使用函数创建数组np.zerosdata=np.zeros((2,10))创建特殊数组的函数Asarray将列表、元组转换为数组Arrange根据开始值,结束值,和步长创建一个数组Ones,ones_like Ze...原创 2019-02-25 22:33:00 · 218 阅读 · 0 评论 -
python数据分析学习之-pandas功能大纲
Pandas基础和应用常用的数据对象Series对象-一维数组pd.Series(data,index)data可以是数组,列表,字典,index即为列名称当data是字典时,列名称由key来充当series有Index和value两个基本属性dataframe对象-二维数据创建dataframepd.DataFrame(data,index,columns)d...原创 2019-02-25 22:33:40 · 291 阅读 · 0 评论 -
python数据分析学习之matplotlib可视化功能大纲
数据可视化matplotlib-网页看不出分级关系,word已上传至CSDN绘图的一般顺序:创建figure对象,类似于一张画布python风格,mat风格默认创建设置横坐标值,纵坐标方程式,放入plt.plot(),再show即可 设置坐标系x=np.arange(0,5.0,0.02)y=np.exp(-1)*np.cos(2*np.pi*x)plt.plot(x,...原创 2019-02-25 22:34:42 · 376 阅读 · 0 评论 -
WIN10下运行python命令,升级pip
由于win10的设置,要运行当前目录下的python,需要加.\ ,完整命令为.\python -m pip install --upgrade pip如果配置到环境变量里面了,则不用加.\原创 2018-11-06 14:33:55 · 2698 阅读 · 0 评论