- 博客(35)
- 资源 (1)
- 收藏
- 关注
原创 利用百度地图api抓取POI点(上海公交站)
1.功能描述从百度地图api抓取POI点(上海)2.代码import pandas as pdimport requestsimport jsonimport numpy as npimport requestsurl = "http://api.map.baidu.com/place/v2/search?query=公交车站®ion=嘉定区&" \ "output=json&ak=KpPZdbZn9sGqSDZKSIyKki5O4sf7
2020-10-14 21:51:39
1159
原创 【记录】调取百度地图API获取东京机场群距离
一、需求描述输入信息:机场名字、经纬度返回:机场间的路径距离矩阵(非直线距离)。二、代码import pandas as pdimport requestsimport jsondf = pd.read_excel(r'东京城市群机场9_ss.xlsx')import numpy as npimport requestsnum = 8;#东京是9个distance_channel = np.zeros((num,num))for i in range(num):
2020-10-12 14:11:16
336
原创 用pandas的stack注意问题:改行索引
1.python无法读取shp文件——要把所有文件都拷过来,不能把shp文件单独放进来啊~参考:https://gis.stackexchange.com/questions/262505/python-cant-read-shapefile
2020-09-07 19:43:13
319
原创 基于anaconda的geopandas安装
这个包是在是太难装了,折腾了一天???最后参考以下文章解决,记录一下(用了方法3pip安装)geopandas安装心得(win10) - 软绵绵的大橘子的文章 - 知乎 https://zhuanlan.zhihu.com/p/137628480
2020-09-07 09:44:53
2211
8
原创 数据挖掘课堂笔记1
什么是数据挖掘?数据挖掘任务:预测+描述性的图:监督对应预测性的;描述性的对应非监督分类--预测;聚类--描述;关联规则--描述;序列模式发现--跟关联规则很像--描述;回归--预测;奇异值检测--描述,预测。分类:预测,所以训练集(+验证集)+测试集验证集:实验室环境下的测试集。聚类:和分类最大是区别,没有分类标签。相似度度量,距离(欧氏距离等)...
2020-03-06 20:28:54
217
原创 用python进行数据分析——第七章:数据规整化、清洗、转化、合并、重塑【3】:数据转换
数据转换移除重复数据duplicated、drop_duplicates、利用函数和映射进行数据转换map替换值replace重命名轴索引.index.maprename——data.rename(index={'OHIO':'FHDJ'},columns={‘fdjh’:'fhdhgj'})离散化和面元划分pd.cut、pd.qcut>...
2020-02-21 18:49:37
312
原创 SQL教程4:函数
SQL AVG 函数例子 1现在,我们希望计算 "OrderPrice" 字段的平均值。我们使用如下 SQL 语句:SELECT AVG(OrderPrice) AS OrderAverage FROM Orders结果集类似这样: OrderAverage 950 例子 2现在,我们希望找到 OrderPrice 值高于 O...
2020-02-06 20:23:27
282
原创 SQL教程3:高级教程2
SQL CREATE INDEX 语句CREATE INDEX 实例本例会创建一个简单的索引,名为 "PersonIndex",在 Person 表的 LastName 列:CREATE INDEX PersonIndexON Person (LastName) 如果您希望以降序索引某个列中的值,您可以在列名称之后添加保留字DESC:CREATE INDEX ...
2020-02-05 21:55:50
184
原创 SQL教程2:高级教程1
SQL TOP 子句TOP 子句用于规定要返回的记录的数目。对于拥有数千条记录的大型表来说,TOP 子句是非常有用的。注释:并非所有的数据库系统都支持 TOP 子句。MySQL 语法SELECT column_name(s)FROM table_nameLIMIT number例子SELECT *FROM PersonsLIMIT 5...
2020-02-05 21:55:17
269
原创 SQL笔记1:基础教程
SQL语法SQL 对大小写不敏感。SQL 语句后面的分号某些数据库系统要求在每条 SQL 命令的末端使用分号。在我们的教程中不使用分号SQL DML 和 DDL可以把 SQL 分为两个部分:数据操作语言 (DML) 和 数据定义语言 (DDL)。查询和更新指令构成了 SQL 的 DML 部分:SELECT- 从数据库表中获取数据 UPDATE- 更新数据库表中...
2020-02-02 10:55:47
362
原创 KNN分类原理
原文链接:https://zhuanlan.zhihu.com/p/22345658kNN 可以用来进行分类或者回归,大致方法基本相同,本篇文章将主要介绍使用 kNN 进行分类。K:邻居数量1.距离函数:最常用L2距离,即欧氏距离。标准化:要对距离标准化(归一化)2.概率KNN定义:可有时我们并不想知道一个确切地分类,而想知道它属于某个分类的概率是多大。这只兔...
2020-01-04 16:00:55
399
原创 【python】book爬虫、数据清洗与可视化实战2
import requestsimport timeimport pandas as pd# 加载pymongo库iimport pymongo#建立连接client = pymongo.MongoClient('localhost',27017)# 在MongoDB中新建名为weather的数据库book_weather=client['weather']# 在weathe...
2019-12-08 21:56:11
347
原创 Python网络数据采集--第二章
from urllib.request import urlopenfrom bs4 import BeautifulSoup##2.1#我们可以抓出整个页面,然后创建一个BeautifulSoup 对象html = urlopen("http://www.pythonscraping.com/pages/warandpeace.html")bsopj = BeautifulSoup(...
2019-11-05 09:50:35
199
原创 小甲鱼爬虫2——隐藏
代理:本节代码~:import urllib.requestimport urllib.parseimport jsonimport randomurl = 'http://ip.chinaz.com/getip.aspx'iplist = ["118.144.149.206:3128","27.208.25.59:8060","117.191.11.10...
2019-06-04 19:09:54
2179
原创 【小甲鱼】爬虫1
练习:import urllib.requestresponse = urllib.request.urlopen("http://www.fishc.com")html = response.read()html = html.decode("utf-8")print(html)
2019-06-01 15:17:43
749
原创 NIK插件-托马斯教程1-color efex pro 4
0.define2:在camera raw中颜色降噪默认,在define2里全局降噪就不用颜色降噪了,但是局部降噪可选颜色和控制点。1.输入输出锐化:一般在camera里习惯性锐化25%,所以不用输入锐化插件;操作过程中用out锐化插件中创意锐化(输出锐化归零)+蒙版局部锐化。如何用输出锐化,盖印图层→设置图片大小(图像→图像大小→宽度2000像素)→输出锐化选项(注意此时创意锐化归零控制...
2019-04-20 10:22:16
4082
原创 【arcgis】1.空间数据采集
1.添加底图:文件-添加数据-添加底图2.缩放至合适大小3.链接文件夹,创建文件:在文件夹上右键新建-shapefile4.确定参考系:投影坐标系-UTM-WGS1984-northern...-WGS84 UTM ZONE50N6.同理,继续添加线要素和面要素7.右下角创建要素,开始编辑:在空地先把编辑器召唤出来,把想要的点都点上,线(双击原点完成编辑)、面同理-保存编辑内容...
2019-04-17 15:52:22
1680
原创 【python小甲鱼7】文件
def file_write(file_name): f = open(file_name,'w') print('请输入内容【单独输入\':w\'保存退出】:') while True: write_some = input() if write_some != ':w': f.write('%s\n' ...
2018-10-30 12:36:56
405
原创 【python小甲鱼6】集合
用{}括起来的,没有映射关系的,就是集合。集合的特点:1.元素唯一。num = {4,1,2,3,4,2,4,2}print(num)#运行结果为{1, 2, 3, 4}2.无序。eg:num[2]就会报错。 创建集合:1.直接把一堆数用{}括起来。2.工厂函数set().3.创建不可变集合frozenset()....
2018-10-29 19:46:35
144
原创 【python小甲鱼5】字典
字典{};元组();列表[]。字典的key和value值既可以是整型,也可以是字符串类型 。创建字典:fromkeys()、访问字典:keys(),values(),items(),get()修改字典:get(),a=b和a=b.copy()的区别啊!!...
2018-10-29 09:55:57
129
原创 【python小甲鱼4】函数——递归
def digui(n): if n==1: return 1 if n ==2: return 1 else: return digui(n-1)+digui(n-2)print(digui(10))
2018-10-28 19:08:23
254
原创 【python小甲鱼3】函数——lambda、filter、map函数
g = lambda x:2*x+6print(g(1))1.lambda函数2.filter函数#过滤器filter(None,[0,None,1,True])print(list(filter(None,[0,None,1,True])))#结果为[1, True]temp = range(10)print(list(filter(lambda x:x%2,t...
2018-10-28 15:48:37
118
原创 【python小甲鱼1】序列
#1list-把。。。变成列表[]a = list()print(a)b = 'I LOVE WANGDI'#序列b = list(b)print(b)c = (1,1,2,3,5,8,13,21,34)#这是元组哦c = list(c)#把元组变成列表了print(c)#2tuple——把一个可迭代对象变成元组tuple(c)print(c)#3max、min——返回...
2018-10-28 10:46:26
160
原创 【python】案例实战:使用sklearn构造决策树模型
import matplotlib.pyplot as pltimport pandas as pdfrom sklearn.datasets.california_housing import fetch_california_housinghousing = fetch_california_housing()print(housing.DESCR)print(housing....
2018-08-06 17:05:24
3804
转载 Python: sklearn库中数据预处理函数fit_transform()和transform()的区别
原帖:https://blog.csdn.net/quiet_girl/article/details/72517053敲《Python机器学习及实践》上的code的时候,对于数据预处理中涉及到的fit_transform()函数和transform()函数之间的区别很模糊,查阅了很多资料,这里整理一下: 涉及到这两个函数的代码如下: # 从sklearn.pre...
2018-07-21 16:34:45
2027
原创 数据挖掘导论笔记2--第3章:探索数据
名词解释:1.多元汇总统计(协方差矩阵、相关性矩阵):2.百分位数图、经验累积分布图3.平行坐标系为了避免线交叉太多,图形变得模糊不清,要将交叉多的那个属性放在最左边。4.维归约、转轴5.上卷和下钻与聚集的区别6....
2018-06-09 14:26:39
469
1
原创 数据挖掘导论笔记1——第二章:数据
鲁棒算法--有噪声也可以产生可接受的结果。使用【特征、变量】替代【属性】。数据预处理1.特征子集选择2.特征提取:由原始数据创建新的特征集。3.特征构造:由一个或者多个原始特征构造新的特征。4.二元化5.非监督离散化6.监督离散化...
2018-06-03 17:20:13
959
原创 vissim交通仿真实验(2)--十字信号交叉口
1.导入底图并设置比例尺:1.1view-background-edit,选择JPG,再点击显示整个地图按钮。再打开这个对话框,在图上选择4个车道,然后将其宽度设为14米即可。1.2保存:保存工程文件,保存在刚刚的文件夹下;保存底图配置文件,view-background--parameters,在点save即可。这之后会生成一个.bgr文件,下一次在加载同一背景图片时,一定保证这
2018-02-02 23:00:15
19428
2
原创 vissim交通仿真实验(1)--仿真基础
1.移动路网位置:按住shift在移动鼠标2.改变路段属性:双击3.改动路段上的车流量:在车流输入状态下双击路段;若删除,弹出对话框后右键最左侧的黑色小三角既有选项。(默认的交通构成是98%小汽车和2%的大车)4.设置仿真速度:目的获得仿真形成的交通参数时,将速度设的大一点max;目的观察效果,将速度设的小一点5. 3D仿真:view--3Dmodel,左侧旋转按钮可实现
2018-01-27 17:28:43
16430
1
原创 多元数据分析降维方法--非线性方法(多位标度分析)--(《多元数据分析(2012)》笔记)
概念:具体地说,多维标度法是以多绍研究对象之间某种亲近关系为依据(如距离、相似系数,亲疏程度的分类情况等),合理地将研究对象(样品或变量)在低维空间中给出标度或位置,以便全面而又直观地再现原始各研究对象之间的关系,同时在此基础上也可按对象点之间距离的远近实现对样品的分类。与聚类对比:聚类以谱系图的方式将高维样本归到一维谱系中,这种简化可能会导致数据失真,故聚类结果具有一定主观性。多位标度分析将数据
2018-01-18 21:22:27
2708
转载 Matlab中pdist 函数详解(各种距离的生成)
pdistPairwise distance between pairs of objectsSyntaxD = pdist(X)D = pdist(X,distance)DescriptionD = pdist(X)计算 X 中各对行向量的相互距离(X是一个m-by-n的矩阵). 这里 D 要特别注意,D 是一个长为m(m–1)/2的行向量.可以这样理解 D 的生成:首先生成一个 X 的距离方阵
2018-01-18 21:21:04
1177
原创 多元数据降维方法--线性方法--《多元数据分析(2012)》笔记3
线性方法:多元特征选择和多元特征转换方法(又可分为主成分分析和因子分析)1.主成分分析法适用于:原始数据之间存在较高的相关性,变量之间相关性越强,则原始数据之间存在非常大的冗余。主成分分析在MATLAB中实现:princomp(需提供原始数据集)、pcacov(需提供样本数据间的协方差和相关系数)。实现:X = 3+randn(30,1);%randn(30,1)表示随机产生30*1的正太矩阵。
2018-01-16 22:59:07
2561
原创 多元数据分布——以及在MATLAB中的相关函数(《多元数据分析2012》笔记(2))
对应单变量数据分布的二项分布、正态分布、beta分布,多元数据有多项式分布、dirichlet分布。1.多元正态分布的相关函数:随机产生多元正态分布的矩阵:mvnrnd;计算多元正态概率密度函数:mvnpdf;计算多元正态分布的累计分布:mvncdf;mu = [0,0];sigma = [0.25 0.3;0.3 1];x1 = -3:0.2:3;x2 = -3:0.2
2018-01-13 17:34:25
2440
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人