WenbinYao&YouweiHu

公司电脑是mac，需要使用geopandas，因此需要先装anaconda，整整搞了一天半，mac上遇到的问题比windows还多，太烦人了，接下来记录一下。1.遇到的问题1.1安装anaconda遇到的问题及解决措施下载了官网最新的anaconda，python3.9，当时系统是mac11.x，具体是多少有点忘了。安装后，无法打开anaconda，命令行conda有效，说明是安装成功了，也可以直接打开jupyter notebook，且能正常执行命令，但是速度很慢，有点卡。于是使用官网所有的解决办

1.数据处理连接mysql数据库并读取数据成dataframe格式import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport pymysqlimport seaborn as sns; sns.set()import copyimport mathimport matplotlib.ticker as tickerfrom matplotlib.pyplot import MultipleLocat

RandomForestClassifier class_weight参数说明sklearn.ensemble.RandomForestClassifier中的class_weight参数说明，官方链接。官网关于这个参数的说明是：但是如果你按照官网的说明进行输入：比如 [{0: 1, 1: 1}, {0: 1, 1: 5}, {0: 1, 1: 1}, {0: 1, 1: 1}]就会报错，经过实践，多分类希望给各个label不同的weight时需要这样来写这个参数：{0: 1, 1: 5 , 2 :

没找到非常好的中文的文章，看到一篇很好的使用python进行马氏距离离群值检测的文章，在此转载，里面的代码可以直接跑，效率也是挺高的。核心代码为：# Covariance matrixcovariance = np.cov(indepvar[:,:-1] , rowvar=False)# Covariance matrix power of -1covariance_pm1 = np.linalg.matrix_power(covariance, -1) #对协方差矩阵取逆# Cente

给定一个矩阵，计算距离矩阵是一个非常常见的需求，比如给定一个特征矩阵需要计算距离矩阵。自己写的话虽然简单每次写也往往很烦，而且自己写的代码效率过低了，使用scipy中的包的话无疑会好一点，具体来说，使用scipy.spatial.distance，该包的具体介绍可以看一下官网和这个博客。下面贴一个我写的基于经纬度矩阵，计算两两间的距离的代码：具体矩阵的形式是一个dataframe，一列是经度，一列是纬度，如下图所示，下面代码中的cam就是这个dataframe。import pandas as pd

今天遇到需求需要进行多分段线性函数拟合，发现了两种方法可以实现。1.Stack Overflow上有人给出的一个答案在Stack Overflow有大佬给出了回答，如何进行分段线性函数拟合，对于2分段函数吗，可以用numpy.piecewise()创建分段函数，再用curve_fit()去训练得到参数即可。对于多分段线性函数，大佬也给出了一个自己写的函数，来实现，该函数可以拟合出多分段线性函数的拟合点。Stack Overflow回答链接。1.1二分段函数代码及输出from scipy import

本文讲述下python中dataframe和list的深浅拷贝以及dataframe中存储list或list中存储dataframe时的深浅拷贝误区。dataframe和list的深浅拷贝其实网上资料都有很多了，这个也容易搞懂，但是当dataframe中存储着list时，或list中存储着dataframe时，要注意此时即使进行了深拷贝，也不一定是你所想像的深拷贝。比如dataframe中存储着list时，对dataframe进行了深拷贝，修改list中的元素时，原来的dataframe中的list中的元素

用python拟合对数正态分布使用的是scipy.stats.lognorm这个包，这个包的使用看官方文档就行，但是其中有一个很迷的地方，网上也有人提到了这个很迷的地方：关于scipy对数正态分布的误区，然后Stack Overflow里也有人给出了解释Stack Overflow大佬的解释说明，，其实Stack Overflow和官网都有解释，可能是我的英语还是太差了吧，导致始终觉得需要看好久才能理解，所以这里来记录下这个漏洞以及我给出的例子。...

最近，越来越多开始用python处理空间数据了。看了B站小旭学长的视频，看了下geopandas的官方文档基本对这个入门了，其实就是用python实现gis的一些功能而已，然后数据结构稍微变了下。实名推荐小旭学长的视频，入门很好哇，而且里面的方法真的可以直接用在科研里面，很棒，很感谢。之后也会写几个python处理空间数据的文章，不过今天主要是记录下python爬取poi的。我看的书是东南大学秦艺帆、石飞的《地图时空大数据爬取与规划分析教程》，代码也是书里的，我打了下，确认可以跑通。...

一个有用的信号控制小程序这个信号控制小程序是我的一个课程作业，要求根据交叉口单点配时理论设计一个小程序，之后用python的wx库实现了可视化。wx的官方文档在这里信号控制策略周期时长未饱和交叉口周期时长由韦伯斯特延误优化模型确定的周期时长、最大周期时长、满足行人过街的最小周期时长共同决定 。最大周期时长当交叉口的信号周期达到一定阈值后，等待的人易产生急躁情绪，等待的车队也会过长，因此通常设定一个阈值作为周期时长的界限。 如果周期太长，则某一方向的绿灯时间可能大于实际需要时长，而另外方向的红

将一堆点投影到地图上文章里用到了几个地图可视化包Basemap的官方文档在这里→BasemapFolium的官方文档在这里→Folium数据形式是这样的：（实际用到的是其中的经度、纬度这两列）数据介绍数据选自义乌市卡口的点位数据（包含经纬度），目的是将卡口摄像头的经纬度投影到地图上，看一下大致的分布。1.Folium包直接上代码，比较好懂import foliumimport xlrdimport pandas as pdlocations = pd.read_excel(r'1

python绘制箱型图十分简单，而且有很多种方法可以实现，可以看看这篇文章，多种python箱型图绘制方法。但是奇怪的是网上竟然都搜不到分组绘制箱型图的方法。所谓分组绘制箱型图就是首先对数据进行一个groupby操作，然后对每个group绘制一下箱型图。R的话就用ggplot2就行了，也有很多教程，但是基于python的似乎还没有，实际上基础的plt和dataframe自带的boxplot方法确实...

最近，使用curve_fit时遇到一个问题，百思不得其解，看了官网，上网查都没有找到这种问题所在，最后通过一些实验确定：应该是由于我这个问题中的数值存在较小值，如果在function中使用了除法会导致数值计算的问题，所以不正确。 接下来具体描述下我遇到的问题，和得出我这种猜测的支撑依据。1.问题描述在做交通流三参数模型拟合时，我使用了scipy的curve_fit函数。数据大概是这个样子的：...

今天在上课想做通勤车识别，但是不可能全部码掉，就码掉了利用python获取oracle中的一个table的数据，并存为dataframe，格式与table完全一样，之后就可以进行分析啦！后续有时间再来补充后续代码# -*- coding: utf-8 -*-"""Created on Sun Feb 24 22:05:49 2019@author: Robin Yao该代码利用之前查...

开一个博文，记录下写的python算法，主要是用《python程序员面试算法宝典》这本书上的题目，还有一些平时上课的作业等等。第一章 链表1.1链表逆序

python的try/except中的语法错误问题今日进行了try/except的使用，希望用来调试其余代码，而跳过为编完的代码，结果发现一个问题，如下： “` python try: sum[] except SyntaxError as e: print(Exception) print(e) print (Exception,e) else...

今日进行了利用python对excel的文本操作，这方面的文章网上已经有很多了，在此不再赘述，只要使用几个库就行了：import xlrdimport xlwtfrom datetime import date,datetimefrom xlutils.copy import copy然后使用其中的函数即可对excel文件进行读、写、修改、保存等诸多功能，十分方便。 但是今日在利用...

转载：https://blog.csdn.net/xiangxianghehe/article/details/55803584，今天看到了python的网页爬取，但是对其中的两种方法，一种是利用requests.get（）,另一种是利用urlopen()无法很好的理解其中的区别，两种方法均...

今天使用PYTHON的format进行输出，结果遇到了无法成功输出的问题，感到十分奇怪，见下所示：# -*- coding: utf-8 -*from urllib import requestimport requestsimport jsonfrom bs4 import BeautifulSoupimport reurl1 = 'http://flash.weath...

今天实习做项目时遇到一个问题，就是时间序列中存在个别日期的缺失，因此需要对日期进行补全，然后在网上搜到一篇博文，可以解决此问题，但是这篇博文中的代码存在一个地方有个小bug，因此在此记录下，博文原地址：https://blog.csdn.net/leo_sheng/article/details/83316285改正后的代码为：import pandas as pdimport dateti...

今天，搞了一天的pyhton箱型图，头昏眼花，所幸终于搞定了，这里主要想记录下python箱型图的25%，50%，75%分位的计算，以及dataframe.boxplot（）的返回值。首先25%，50%，75%分为这些统计参数没法通过箱型图相关的方法得到，也没必要通过这些方法得到，可以直接用dataframe.describe（）方法得到，清晰快捷，并且返回值也是dataframe，可以说是非常...

今天需要以时间序列为横坐标绘制散点图，十分困难，因为scatter()都要求x为数字，在网上搜索时，搜到了一篇博文，尝试了一下真的成功，感谢感谢，在此转载，让更多人看到，感谢博主的分享：http://blog.51cto.com/happy366/2095768 （原文链接） # -*- coding: utf-8 -*- """ speed1219.csv da...

今天又遇到了dataframe.to_csv()然后文件里的中文乱码了。1、首先吧dataframe.to_csv(“file_name” ，encoding = ‘utf-8’)结果乱码依旧。2、上网查了下，改成了dataframe.to_csv(“file_name” ，encoding = ‘utf_8_sig’)结果乱码依旧3、然后改成了dataframe.to_csv(“fil...

之前一直是spyder or pycharm+sublime+notepad组合写代码的，但是最近又被公司同事吐槽，让我用Jupyter来写，好吧，我承认简单的数据分析Jupyter Notebook还是有一些好处的，比如交互性更强，然后更重要的是对于要读取大量数据的代码，每次重新run来debug耗时很多，而jupyter可以保存变量，写代码会快一点，所以打算也学一学吧。之后就在这里写一下使用过...