python
作小寒
城市感知计算(sensingcity)
展开
-
来学习R语言绘图啦~
# 两个包自己用Rstudio直接安装就好install.packages("tidyverse")library(tidyverse)mpg#> Loading tidyverse:ggplot(data = mpg) + geom_point(mapping = aes(x = displ, y = hwy,color = "blue"))ggplot(data = mpg) + geom_point(mapping = aes(x = displ, y = hwy, sha原创 2020-06-17 16:12:50 · 313 阅读 · 0 评论 -
介绍几个python networks绘制的例子
这部分国内CSDN质量太差了,官网抄都抄不好,这里做个搬运工。import networkx as nximport numpy as npimport matplotlib.pyplot as pltG = nx.Graph()G.add_edges_from( [('A', 'B'), ('A', 'C'), ('D', 'B'), ('E', 'C'), ('E', 'F'), ('B', 'H'), ('B', 'G'), ('B', 'F'), ('C', 'G')]原创 2020-05-21 13:35:01 · 3309 阅读 · 3 评论 -
geopandas转csv到shp模板
import pandas as pdimport geopandasimport matplotlib.pyplot as plt%matplotlib inlineworld = geopandas.read_file(r'C:\Users\hp\Desktop\lianjia.wuhan.csv',encoding='utf-8')world.head()df[['longitude','latitude']] = df[['longitude','latitude']].apply(原创 2020-05-11 12:37:41 · 1269 阅读 · 1 评论 -
geopandas与folium实战
#把地铁站点打出来df=df[0:100]for lat,lon,label,line in zip(df['latitude'],df['longitude'],df['bizcircle_name'],df['均价']): if line>15000: color='#ffc71e' else: color='#2ce7cf' folium.Circle(location=[lat,lon],tooltip='500m circle',r原创 2020-05-11 12:32:10 · 1019 阅读 · 0 评论 -
python绘制组图
# -*- coding: UTF-8 -*-__author__ = 'zy'__time__ = '2020/3/15 15:40'import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport matplotlib.pyplot as plt# 在我的 notebook 里,要设置下面两行...原创 2020-03-15 23:29:39 · 969 阅读 · 1 评论 -
POI点数据获取与NOAA(美国海洋和大气管理局)气象数据获取
NOAA(美国海洋和大气管理局)提供GHCND(全球历史气候学网络)月度摘要数据库,可以满足全球陆地区域历史月度温度,降水和降雪记录的研究需求。GHCND月度摘要数据库数据源自GHCN-Daily数据库,经过质量审查与二次加工制成,主要包含18个气象要素,包括温度(每月平均值和极端值),降水(每月总数,极端值和满足各种数量阈值的天数),降雪,最大雪深等。GHCND月度摘要数据库与它对应的每日数...原创 2020-03-15 15:39:47 · 2445 阅读 · 0 评论 -
微博数据处理技巧
if '展开全文' in p.xpath('string(.)').strip(): try: allcontenturl = 'https://m.weibo.cn/statuses/extend?id=' + str(mid_...原创 2020-03-03 23:19:17 · 666 阅读 · 0 评论 -
获取日期
import datetimebegin = datetime.date(2020,1,21)end = datetime.date(2020,2,27)d = begintime_List=[]delta = datetime.timedelta(days=1)while d <= end: # print (d.strftime("%Y-%m-%d")) t...原创 2020-02-27 15:17:36 · 156 阅读 · 0 评论 -
Django操作
使用scrapy爬取了网上的一些数据,存储在了mysql数据库中,想使用Django将数据展示出来,在网上看到都是使用Django的models和makemigration,migrate命令来创建新表,并使用。可是我的数据已经存在了已经创建好,并且已经存储有数据了,不能再重新创建新表了。了解Django的表明和models名称的映射关系就可以让Django使用已经存在的表。假如在Dj...转载 2020-02-21 16:29:23 · 108 阅读 · 0 评论 -
matplot再也不缺颜色啦
# -*- coding: UTF-8 -*-__author__ = 'zy'__time__ = '2019/8/31 16:55'import matplotlib.pyplot as pltfrom matplotlib import cmfrom numpy import linspacestart = 0.0stop = 1.0number_of_lines= 7...原创 2020-02-13 15:03:01 · 365 阅读 · 1 评论 -
xpath的优化
# -*- coding: UTF-8 -*-__author__ = 'ZhengXiang'__time__ = '2020/2/10 20:26'import requestsimport xlwtimport redisfrom lxml import etreefrom urllib import parseimport pandas as pdimport pym...原创 2020-02-10 21:26:02 · 682 阅读 · 4 评论 -
json小操作笔记
一、使用json转换方法1、字典写入txtimport jsondic = {'andy':{'age': 23,'city': 'beijing','skill': 'python'},'william': {'age': 25,'city': 'shanghai','skill': 'js'}}js = json.dumps(dic)file = ope...转载 2020-02-09 21:13:51 · 107 阅读 · 0 评论 -
处理微博时间信息
date_formatted = pd.to_datetime(i['timeNow']+'2020', format=r'%m月%d日 %H:%M%Y')2020-01-14 17:14:0001月14日 17:142020-01-14 17:14:0001月14日 17:14原创 2020-02-09 18:01:21 · 166 阅读 · 2 评论 -
plt绘图
plt.plot(tt, _in, color='skyblue', label='in',ls='-.')#ls或linestylplt.plot(tt, _add, color='green', label='add',ls=':')plt.plot(tt, _out, color='red', label='out',ls='steps')plt.xticks(list(t...原创 2020-02-07 21:52:36 · 310 阅读 · 2 评论 -
numpy绘制热力图
# -*- coding: UTF-8 -*-__author__ = 'zy'__time__ = '2020/1/31 22:22'#cmap(颜色)import matplotlib.pyplot as pltimport numpy as npimport seaborn as snsimport pandas as pddf=pd.read_csv(r'hubei...原创 2020-01-31 22:35:49 · 1874 阅读 · 4 评论 -
转载的IP代理池
# encoding: utf-8'''@1.py @ip @Administrator @2019/12/20 @17:08 @PyCharm'''# coding:utf-8# version:python3.7# author:Ivyimport requestsimport re# 爬取代理网站上可以用的代理,建立代理池class Proxies...转载 2020-01-29 20:37:48 · 138 阅读 · 0 评论 -
山东大学学报稿件查询
查询稿件状态并上传邮箱,很多国内期刊模板一致随意改动# -*- coding: utf-8 -*-# @Time : 2019/12/1 22:17# @Author : yemanzhongting# @Email : sggzhang@whu.edu.cn# @File : 1.py# @Software: PyCharm# !/usr/bin/python...原创 2020-01-29 20:18:08 · 810 阅读 · 2 评论 -
处理requests返回的json
def get_area(userid): url = user_url.format(uid=userid) response = requests.get(url, headers=headers, allow_redirects=False) if response.status_code == 200: try: resp ...原创 2020-01-24 18:34:15 · 1090 阅读 · 0 评论 -
持续更新:numpy,dataframe,list 互相转换
data=pd.read_csv (header?)csv 读入 dataframe,column 列 index 行 命名df = pd.DataFrame(df,column=?, index=?)参数names指定列表为列名称df=data.values转化为numpy格式,可以进行切片操作df[:,1].T.tolist():numpy 转化为 列表np....原创 2019-12-25 15:05:41 · 6817 阅读 · 22 评论 -
python2 做列表循环
貌似python3有 dict.keys()的用法values_cnt = {}percent_cnt={}with arcpy.da.SearchCursor(fc, self.filed) as cursor: for row in cursor: f_value.append(row[0]) for value in f_value: ...原创 2019-12-23 20:43:24 · 184 阅读 · 0 评论 -
selenium添加cookie
各种bug问题,这里推荐可用的变法。for cookie in bdcookie: driver.add_cookie({ "domain":".baidu.com", "name":cookie, "value":bdcookie[cookie], "path":'/', ...原创 2019-12-05 15:01:03 · 2026 阅读 · 0 评论 -
POI数据获取及坐标纠偏
POI是Point of Interest的缩写,中文可以翻译为“兴趣点”。在地理信息系统中,一个POI可以是一栋房子、一个商铺、一个邮筒、一个公交站等。以百度地图为例,将POI分为八类:吃喝、住宿、出行、银行、娱乐、生活、景点、购物,再细一点可以选择大类中的类目。百度地图、高德地图等平台提供了API接口,对接口传入必要的参数,就能返回需要的数据。本节以抓取百度地图广州市医院位置为例进行讲解,主要...原创 2019-11-02 14:30:38 · 4316 阅读 · 1 评论 -
获取POI数据以及坐标纠偏,其中应该以网格划分形式获取大范围的POI点。
# -*- coding: UTF-8 -*-__author__ = 'zy'__time__ = '2019/10/28 13:59'#http://api.map.baidu.com/place/v2/search?query=%E4%B8%AD%E4%BB%8B&page_size=20&scope=2®ion=%E6%AD%A6%E6%B1%89%E...原创 2019-10-28 14:58:53 · 1509 阅读 · 2 评论 -
时间戳转化pandas列
# -*- coding:utf-8 -*-import timedef stime(): timeStamp = 当前时间戳整数 timeArray = time.localtime(timeStamp) otherStyleTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray) print(otherSty...翻译 2019-10-27 19:57:45 · 563 阅读 · 4 评论 -
config标准配置
import configparser import os, sys parent_dir = os.path.dirname(os.path.abspath(__file__)) # 实例化configParser对象 config = configparser.ConfigParser() config.read(parent_dir +...原创 2019-10-27 19:50:51 · 784 阅读 · 0 评论 -
python语言下基于网格的聚类算法:ts-dbscan
#!/usr/bin/python# -*- coding: utf-8 -*-from datetime import timedeltaimport pyprojclass STDBSCAN(object): def __init__(self, col_lat, col_lon, col_time, spatial_threshold=500.0, ...翻译 2019-10-26 14:28:01 · 1482 阅读 · 0 评论 -
转载:python库Pyproj进行坐标转换
利用Pyproj进行坐标转换作者:郜科科两个坐标系统的参考椭球不同,实地一个点的不同坐标系的值是不同的,不同的部门采用的坐标系统经常是不一致,所以要转换后才能相互利用。例如目前使用的北京市观测站点位置根据GPS的定位而来,GPS使用的地理坐标系为GCS_WGS_1984,所以其坐标的地理坐标系也为GCS_WGS_1984,而假如需要将这些点显示在Web端的地图上,Web端的投影坐标系WGS...翻译 2019-10-26 14:26:21 · 4081 阅读 · 0 评论 -
jebrain python编辑器2019.2及以下版本
crack jar百度云链接本文进行base64加密。1: server activation, code activation, activation fileMTW881U3Z5-eyJsaWNlbnNlSWQiOiJNVFc4ODFVM1o1IiwibGljZW5zZWVOYW1lIjoiTnNzIEltIiwiYXNzaWduZWVOYW1lIjoiIiwiYXNzaWduZ...原创 2019-10-17 22:00:57 · 480 阅读 · 0 评论 -
python爬虫自动登录武汉大学校园网
#coding:utf-8__author__ = 'zy'import urllib2import cookielibimport urllibimport reimport sys'''模拟登录'''PostUrl = "http://202.114.64.105:8080/eportal/userV2.do?method=login¶m=true&wlanuserip=a原创 2017-02-15 23:55:00 · 5311 阅读 · 2 评论 -
初识selenium的激动
我先mark一下。几行代码来表达我的激动。from selenium.webdriver.common.keys import Keysdriver = webdriver.Chrome()driver.get("http://www.python.org")assert "Python" in driver.titleelem = driver.find_element_by_name("q原创 2017-03-22 21:03:33 · 261 阅读 · 0 评论 -
爬取武汉大学教务系统数据
#coding:utf-8__author__ = 'zy'import urllib2import cookielibimport urllibimport requestsimport reimport sys'''模拟登录'''CaptchaUrl = "http://210.42.121.241//servlet/GenImg"PostUrl = "http://210.原创 2017-03-22 22:03:14 · 1695 阅读 · 0 评论 -
PYTHON抓取当当网商品数据
__author__ = 'zy'#<img class="BDE_Image" src="https://imgsa.baidu.com/forum/w%3D580/sign=517a6ed09b13b07ebdbd50003cd69113/a897d143ad4bd113d9785ec352afa40f4afb0588.jpg" size="85440" height="900" width=原创 2017-04-17 15:02:35 · 1028 阅读 · 0 评论 -
selenium进行新浪博客自动签到
#coding=utf-8from selenium import webdriverimport timeimport csvdriver = webdriver.Chrome()nowhandle=driver.current_window_handledriver.get("http://control.blog.sina.com.cn/")driver.find_element原创 2017-04-22 15:18:12 · 825 阅读 · 0 评论 -
武汉大学测绘学院工测带缓和曲线的圆曲线
#coding:utf-8__author__ = 'zy'import mathdef JIAODU(x1,y1,x2,y2): jd=math.atan((y2-y1)/(x2-x1)) jd=jd/math.pi*180 if (x2-x1)<0: jd=jd+180 elif (y2-y1)>=40: jd=jd原创 2017-04-22 23:18:56 · 1538 阅读 · 0 评论 -
Python新浪博客签到
#coding:utf-8__author__ = 'zy'import urllib2import cookielibimport urllibimport reimport sys'''模拟登录'''PostUrl = "https://login.sina.com.cn/bindmail/checkmailuser.php?_r=1488205386182"# 验证码地址原创 2017-04-22 15:18:53 · 1788 阅读 · 0 评论 -
ARCGIS读取Excell数据生成多边形Python脚本
import xlrd,xlwt,arcpy... xlsPath = r'F:\Lot.xls'... data = xlrd.open_workbook(xlsPath) ... table = data.sheets()[0]#通过索引顺序获取 ... cols = table.col_values(3) ... nrows = table.nrows... point = ...原创 2017-09-21 23:14:48 · 1786 阅读 · 0 评论 -
Python爬虫Beautiful Soup的用法
上一节我们介绍了正则表达式,它的内容其实还是蛮多的,如果一个正则匹配稍有差池,那可能程序就处在永久的循环之中,而且有的小伙伴们也对写正则表达式的写法用得不熟练,没关系,我们还有一个更强大的工具,叫Beautiful Soup,有了它我们可以很方便地提取出HTML或XML标签中的内容,实在是方便,这一节就让我们一起来感受一下Beautiful Soup的强大吧。1. Be...转载 2018-02-13 22:55:54 · 661 阅读 · 0 评论 -
Python \r\n与\n的转换
原文链接[脚本之家](http://www.jb51.net/article/64669.htm)?123456789101112131415161718192021222324252627282930313233343536import os def replace(filePath, w2u): try: &n...转载 2018-02-14 14:03:34 · 7841 阅读 · 0 评论 -
Python爬取小说网站页面制作电子书
#-*- coding:utf-8 -*-from bs4 import BeautifulSoupfrom urlparse import urljoinimport requestsurl="http://www.jinyongwang.com/yi/{page}.html"txt_file = open("rent.txt","wb")for num in range(44...原创 2018-02-14 16:29:35 · 7543 阅读 · 0 评论 -
Python词云分析进行GPS课程总结
#-*- coding:utf-8 -*-import timefrom os import pathfrom scipy.misc import imreadimport jiebaimport sysimport matplotlib.pyplot as pltfrom wordcloud import WordCloud, STOPWORDS, ImageColorGener...原创 2018-02-14 23:45:59 · 571 阅读 · 0 评论