Poisson_SHAN的博客

原创 Keras训练后读取模型‘xxx.h5’遇到“AttributeError: ‘str‘ object has no attribute ‘decode‘ “

Keras在读取模型load_model(xxx.h5)时，遇到报错：AttributeError: ‘str’ object has no attribute ‘decode’原因是h5py版本是3.0.0，然而版本过于高级（呃，或者说tf2.3略低端），无法适配tf2.3，因而把h5py降到2.1.0就可以了。命令行输入：pip install h5py==2.10.0 --force-reinstall我这边用的conda install，所以记得开vpn全局。如果用pip install

原创 VSCode python extension loading

最近vscode更新后，运行py程序一直不行。发现底部有一个python extension loading一直在加载在网上搜索了很多，发现有一个方法，把python扩展包的版本降回之前的。我这里降回了20年11月时候的版本发现好了...

原创 onehot逆编码，把onehot编码的矩阵变为一维向量

onehot逆编码，把onehot编码的矩阵变为一维向量如下

原创 win下Tensorboard打开

Tensorboard报错报错No dashboards are active for the current data set特别注意目录中空格的影响可以试下logdir “LOGPATH”，如：此时就可以成功打开了发现logdir="PATH"好像也可以，迷惑

原创 tensorflow 2.x CPU/GPU安装攻略

tensorflow 2.x CPU/GPU安装攻略首先的首先，需要解决一个疑问，tensorflow2.x通过pip install是不需要装什么tensorflow-gpu的，只装一个tensorflow即可。进入tensorflow官网安装页面，看到提供最新的安装方式pip install tensorflow，然而，用这个方式下载的版本是最新的（笔者此时是2.4.0），同时根据官网提示，不同tensorflow版本对应不同版本的cuDNN和CUDA。所以要选择相应的安装。https://ten

原创 CUDA安装环境变量tips

CUDA9.1后版本会自动添加环境变量不需要再手动添加了

原创 坐标转换 - 将LineString，Polygon等转换坐标系

一般而言，关于点的坐标系转换非常方便，调用pyproj的Proj函数即可，如下# 将wgs坐标系转换到utm50utm50 = pyproj.Proj(proj='utm', zone=50, ellps='WGS84') # https://proj4.org/operations/projections/utm.html#usage 默认的ellps是GRS80xs, ys = utm50(acc.lng.values, acc.lat.values)acc['x'] = xsacc

原创 SPSS - 显著性分析 一般线性模型的单因素与多因素选择

SPSS中可以使用分析-一般线性模型中的分析来做显著性分析其中又有两个选择，单因素与多因素。查看SPSS官方帮助文档，即点击左下角的“？”，找到了两者区别。单因素https://www.ibm.com/support/knowledgecenter/zh/SSLVMB_25.0.0/statistics_mainhelp_ddita/spss/base/idh_glmu.html“GLM 单变量”过程通过一个或多个因子和/或变量，为一个因变量提供回归分析和方差分析。因子变量将总体划分成组。通过使

原创 数据分析预处理 -字符型类别变量（string）

在数据分析时，会遇到一些非数值型的类别变量，例如字符串类型（string）。比如，西瓜的色泽：青绿、浅白、乌黑等等…直接放在svm、决策树或者贝叶斯分类器时，不方便处理，也直接套用sklearn中的内置算法。因而在预处理时需要对他们做相应的处理。一般可以把类别数据分为：无序和有序两类。有序：比如衣服尺码，S、M、L、XL，是有大小的；再比如拥堵指数，数值由0变化到4随拥堵加剧无序：比如衣服颜色，黑、白、黄、蓝、绿，是没有大小（优劣）序列的类别（1）有序序列我们可以用map函数，将字符型类别替换成有

原创 【机器学习】面试题 - 抛硬币

今天在SafoSafo数据科学论坛上做了套机器学习的面试题，10道题对了8个。下面碰到了一道华为抛硬币的面试题。我自己又做了一遍完整的数学解：

原创 Qgis操作

从openstreetmap中提取交通路网network参考：https://www.youtube.com/watch?v=LeCGcUBRa14

原创 Pycharm及anaconda环境配置的一些体会（mac）

Pycharm及anaconda环境配置的一些体会在一开始的New Project中new environment using conda与在anaconda navigator的environment中创建一个新的环境是一样的。它被保存在anaconda下的envs中，这个是重复占用空间的。看了看，还蛮大的，稍微几个包，几百Mb。虚拟的vitualenv是虚拟的环境，加载包不知道是不是重复占...

原创 降维：使用SPSS主成分分析(PCA)与因子分析

毕设在用SPSS做PCA的时候，遇到一些问题。虽然以前在做数模的时候也遇到过，但是，当时只是照着书上走，做个评价什么的。这次，更深度的思考了一些问题，在这里记录下来，以备今后再次遇到时，能省些力气。因为我自身并非统计出身，描述中可能会有纰漏，还希望懂行的大佬给予我进行指正，纠正我的错误观念，感谢。为什么要用PCA？首先，降维是为了将多维的指标（变量）降低维度，以便简化计算，防止维度爆炸之类的...

原创 pd.Dataframe修改值及在原df基础上增加一个属性（column）

考虑给原有df增加一个属性，可以先增加一个空白列，如图：再更新空白列中的值然而，不能使用下面这种线性调用而应该尽量使用下面这两种

转载 pip show显示包的安装路径

"Pip installs from PyPI. There are no releases of the basemap package on PyPI, it is just a simple registration page pointing at the real download location (SourceForge).Conda pulls from its own repo...

原创 jupyter-lab使用技巧

jupyter-lab 是对jupyter notebook的升级，能实时地查看代码结果，对于数据处理、可视化来说也很方便之前一直是在Anaconda Prompt中打开jupyter-lab的，所以用的默认目录C：\User\Administrator近期，发现一个在指定文件夹目录中打开jupyter-lab的好方法键盘Shift+鼠标右键->在此处打开命令窗口-> 在弹出的命...

转载 numpy.meshgrid()理解

https://blog.csdn.net/lllxxq141592654/article/details/81532855

转载 python中的os.path.dirname(__file__)的使用

os.path.dirname(file)返回脚本的路径，但是需要注意一下几点:1、必须是实际存在的.py文件，如果在命令行执行，则会引发异常NameError: name ‘file’ is not defined2、在运行的时候如果输入完整的执行的路径，则返回.py文件的全路径如：Python c:/test/test.py 则返回路径 c:/test ，如果是python test.p...

原创 解决错误：'utf-8' codec can't decode byte 0xb0 in position 0: invalid start byte

今天做项目新闻标题热点数据挖掘，形成词云图片。写完读取stopwords.txt文件时stop_words = set(line.strip() for line in open(r'E:\CS\Python\python玩转数据\chineseStopWords.txt', encoding = 'utf-8'))运行时遇上了一个错误，如下：'utf-8' codec can't de...

原创 GUI-wxPython错误PyNoAppError: The wx.App object must be created first!

之前每次运行程序时，第一次都可以正常生成GUI，但是第二次程序就会报错：PyNoAppError: The wx.App object must be created first!后来研究发现，在程序的末尾加上del app可以有效解决此问题E.g.:#派生Frame的子类，修改了原来Frame子类的__init__()方法import wxclass Frame1(wx.Frame):...

原创 csdn加载代码块时，使得代码附上颜色

很简单如图，在’’'后面加上所用语言就行，如python

原创 解决方案SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position xx: truncated

今天在学《用python玩转数据》C6做数据分析项目例题时，发现一个error：SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position 70-71: truncated \uXXXX escape看了别人的blog才知道是文件路径输入出了问题：我的错误输入版本：users = pd...

原创 #Series and DataFrame

Series对应的是一维序列，DataFrame对应的是二维表结构，是一种表格型的数据结构，可以看作是共享同一个index的Series的集合1.怎样创建一个DataFrameDataFrame对象可以由列表、元组、字典创建，也可以由ndarray或者Series或者文件来创建。DataFrame　　　　DataFrame是一个表格型的数据结构，它含有一组***有序***的列，每列可以是不...

原创 ndarray

原创 【python】如何在某.py文件中调用其他.py内的函数

假设名为A.py的文件需要调用B.py文件内的C(x,y)函数假如在同一目录下,则只需import Bif __name__ == "__main__": B.C(x,y)若只需调用单个函数，也可以from B import Cif __name__ == "__main__": C(x,y)若A.py和B.py位于不同的目录下，可以用以下方法(假设B.py位于...

原创 字典

字典的几种表示

原创 #元组

1、‘*’号有收集参数的作用python中多个参数可以构成一个元组作为函数的参数，而元组的个数是不定长的，所以这就是可变长的函数参数。

原创 #列表

sort函数和sorted方法不同的list.sort()直接改变list而sorted(list)则不会列表解析

原创 简易网络爬虫eg

"""'''运用request库进行网页的抓取运用BeautifulSoup库和正则表达式模块进行网页内容的解析'''import requestsfrom bs4 import BeautifulSoupimport re #导入正则表达式s = 0r = requests.get('https://book.douban.com/subject/1084336/')sou...

原创 算法图解 Grokking Algorithms —— 笔记

线性时间（linear time）：简单查找对数时间（log time）：二分查找1.3大O表示法——算法时间的表述：知道运行时间如何随列表增长而增加大O表示法能够比较操作数，指出了算法运行时间的增速O（n2）选择排序O（n！）旅行商问题O（nlogn）快速排序三、四 递归用递归方法求和数组中元素的和def sum(list): if list==[]: ...

原创 从网页获取数据

有的网站会提供一个爬虫协议文件robots.txt例如豆瓣的爬虫协议：https://www.douban.com/robots.txt这里我们要对《小王子》的豆瓣评论进行抓取，需要用到的是subject这个目录，在豆瓣网页的爬虫协议中，并没有禁止这项操作。200表示一切正常抓取源代码：注：1、响应内容是二进制，要用r.content 来解码（比如抓取图片时，生成的数据是二进制...

原创 读写文件

shell（idle）中，要打双斜杠\才能正确识别f.write(‘path’)方法是对file文件内容全部清除后，重新覆盖。如果要想对文件中的某一部分后操作。需要使用seek（）方法这是因为有文件指针的存在。在读写文件时，文件指针跟着行移动，有时当前指针的位置就不再是开头，或是我们想要的位置了。具体操作如下：...

原创 ！！return——执行了return语句，后面的语句将不会执行！！

如果执行了return语句，那么后面的语句将会不执行。当前函数只要执行了return，之后的代码是不可能执行的如果没到return，比如return 在 if里面，而if没满足条件，那有可能执行后面的语句def f(x): if x>5: return False return True...

原创 循环和递归

递归递归必须要有边界条件，即停止递归的条件：例子：斐波那契数列 后一项为前两项的和0，1，1，2，3，5，8…def fib(n): a, b = 0, 1 count = 1 while count < n: a, b = b, a+b count = count + 1 print(a)使用递归：def fib(n): if n==0 or n==1: ...

原创 自定义函数def

默认参数一般要放在参数列表的最后，否则要报错def f(x, y = True)

原创 列表生成式和生成器

列表生成式：eg. 求0-10内的奇数： [i+1 for i in range(10) if i%2 == 0]生成器：eg. generator: (x * x for x in range(10))把【】换成（）就可以

原创 包package和库library

原创 python变量管理

每个对象被创建时都会获得一个身份 id，可用 id()函数查看，同时会伴随一个引用计数器。例如：PI = 3.14159pi = 3.14159PI is piFalse分析：因为 PI 和 pi 指向了两个不同的 3.14159，它们有各自的内存空间，可通过 id()函数查看id(PI)2376033150440id(pi)2376033150416pi = PIPI ...

原创 EXCEL文件（xlsx）的读取与data的写入

使用ExcelFile时，通过将xls或xlsx的路径传入，生成一个实例：xlsx = pd.ExcelFile('example/ex1.xlsx')存储在表中的数据可以通过pandas.read_excel读取到DataFrame中：如果你读取的是含有多个表的文件，生成ExcelFile更快，但你也可以更简洁地将文件传入pandas.read_excel:如需将pandas数据写...

原创 to_pickle,to_csv等写入操作

本人windows系统中，使用read_csv，read_html，read_table等操作，路径中都可以以’\'符号隔开。如：frame = read_csv(E:\CS\Python\PythonforDataAnalysis\pydata-book-2nd-edition (1)\pydata-book-2nd-edition\examples\ex1.csv)但是在to_csv，...