- 博客(106)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 百度指数cookie不可用解决方案
用代码抓取百度指数时总是提示“cookie不可用”。估计是cookie没找对。按照网上大部分的教程，百度指数的cookie，是在登录百度指数后，在百度指数首页点击F12，找到Application在其左侧找到cookie，点击cookie下的链接，在NAME中找到BDUSS，将其value复制下来。然而，这种方法是不对的。正确的方法是 在登录百度指数后，在百度指数首页点击F12，找到Network，再点击下方的All，再点击abdr?data开头的链接，点击Headers，找到cookie
2022-03-11 11:27:26
2120
4
原创 Python处理大数据量文本数据思路
最近，需要用python批量处理一些超过4G的文本数据，在此记录一些处理思路。1 文本查看拿到新数据，总是想先打开数据，看看字段和数据情况。然而，我的电脑运存只有16G，超过4G的文本数据如果用记事本或notepad++等文本编辑器直接打开，会一下子涌入运存中，打开很慢或者直接打不开。EmEditor软件读取大文件很方便。不是免费的，需要注册：EmEditor (Text Editor) – Text Editor for Windows supporting large files and U
2021-09-28 16:31:18
2828
原创 Pandas读取中文文本文件报错:python ‘utf-8‘ codec can‘t decode byte 0xe3 in position 0: unexpected end of data
近日用pandas的read_csv读取中文文本文件时报错：python 'utf-8' codec can't decode byte 0xe3 in position 0: unexpected end of data。看到错误以为是读取时encoding选择错误，某个二进制块无法用 'utf-8'读取，不应该选择 'utf-8'。于是将utf-8,gb2312,gb18030,gbk,utf-8-sig,cp936,big5等中文编码都试了一遍，还是没有解决错误。用编码ISO-8859-1读取没有
2021-09-28 16:01:00
6063
原创 Excel打开csv文件显示乱码问题解决方法
Excel 在读取 csv 的时候是通过读取文件头上的 bom 来识别编码的，如果从csv文件没有bom，在excel中打开就会显示乱码。解决方法：
2021-06-10 10:50:57
1518
1
原创 64位win10系统中安装anaconda+spyder+arcpy
不少地理工作者都会使用arcpy来批量处理一些文件，同时也会使用anaconda做一些科学运算。但当使用arcpy时，只能使用ArcGIS自带的IDE。但ArcGIS自带的IDE使用起来非常不友好。想使用Spyder时，却发现无法导入arcpy。spyder要使用arcpy，要保证spyder的Python环境与arcpy的一致。ArcMap10.1及以上都是使用的Python2....
2020-05-07 09:19:03
1683
原创 中文文本情感分析-python包SnowNLP入门
目录1.情感分析是什么？2.情感分析有什么用？3.情感分析实战-SnowNLPSnowNLP官方参考资料：SnowNLP两个坑：自己用snownlp训练模型：1.情感分析是什么？极性：观点正负性的程度，0-1，0为负，1为正持有者：提取出观点的持有者是谁日常分析中使用频率：极性>观点>持有者程度...
2020-03-02 00:17:26
7872
1
原创 python pip国内镜像
pip安装python库通常用pip install x，x为python库名，默认使用的是国外的下载源，速度比较慢。把pip安装源更换为国内镜像，可提升下载速度，还可提高安装成功率。1.国内镜像：清华：https://pypi.tuna.tsinghua.edu.cn/simple中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/阿...
2020-02-13 17:58:45
3554
原创 OSM OpenStreetMap 获取城市路网数据及转为ESRI shp数据的方法
OSM简介 OpenStreetMap（OSM）号称地图界的维基百科。是在2004年7月由史蒂夫·克斯特始创。2006年4月，OpenStreetMap基金会成立，鼓励自由地理数据的增长，发展和分布，并向所有人提供地理数据以供使用及分享。OSM官方介绍网页：http://wiki.openstreetmap.org/wiki/Zh-ant:Map_Features#.E9.81.9...
2020-01-12 16:40:02
28099
26
翻译 python-用Map, Filter, Reduce代替For循环
for 循环就像是一把瑞士军刀，它可以解决很多问题，但是，当你需要扫视代码，快速搞清楚代码所做的事情时，它们可能会让人不知所措。map、filter 和 reduce 这三种技术可以提供描述迭代原因的函数替代方案，以便避免过多的 for 循环。划重点：迭代什么是 Map、Filter 和 Reduce？在写代码时 95% 的时间都花在遍历字符串或数组上。在这种情况下，一般会执行以...
2020-01-12 16:09:55
1957
原创 python 标准差Std() 参数决定有偏或无偏
numpy.std() 求标准差的时候默认是除以 n 的，即是有偏的，np.std无偏样本标准差方式为加入参数 ddof = 1；pandas.std() 默认是除以n-1 的，即是无偏的，如果想和numpy.std() 一样有偏，需要加上参数ddof=0 ，即pandas.std(ddof=0) ；...
2019-11-16 20:57:20
2647
1
转载 Python pandas dataframe 分组聚合时，分组组名并入列的方法
转载，侵删，感谢原作者利用pandas做分组聚合时，分组组名默认是变化成index，如图grouped = tdf.groupby('uid')mean=grouped.mean();forwardmeandf=pd.DataFrame(mean)代码中tdf是一个dataframe当以uid分组，并求每组的平均值后在转化为dataframe,组名并入到index这...
2019-11-16 20:56:01
2289
2
原创 使用spyder3调试python程序的简明教程
可以参考这个文档https://blog.csdn.net/qq_33256688/article/details/77675885，感谢原作者
2019-11-16 20:53:09
658
原创 excel只对筛选后的结果单独用公式
在excel中对筛选后的结果用公式，然后把表格内所有的数据都用了公式。如何只对筛选后的结果单独用公式呢？excel给了一个函数，subtotal函数都是对所筛选出的单元格而不含被筛选掉的单元格subtotal(x,A1:A100) 公式中x要填1-9的数字，不同数字会使函数展示不同的功能，具体如下：=subtotal(1,A1:A100) ，AVERAGE 平均值=subtotal(2...
2019-11-16 20:50:51
10685
原创 python pandas加速包
目前我在网上找到的pandas加速包有两个：modin和swiftermodin 宣称"通过更改一行代码来加速你的pandas工作流"，官方文档https://github.com/modin-project/modinswifter 对apply函数加速，官方文档https://github.com/jmcarpenter2/swifter...
2019-11-16 20:47:00
1984
转载 python Pandas SettingwithCopy 警告解决方案
原文链接：https://www.dataquest.io/blog/settingwithcopywarning/原文标题：Understanding SettingwithCopyWarning in pandas原文发布时间：5 JULY 2017（需要注意时效性，文中有一些方法已经弃用，比如ix）作者：Benjamin Pryke译者：Ivy Lee学习 Python 数据分析的同学...
2019-11-16 20:40:56
1656
原创 python 计算程序运行时间
方法1import datetimestarttime = datetime.datetime.now()#long runningendtime = datetime.datetime.now()print (endtime - starttime).seconds方法 2start = time.time()run_fun()end = time.time(...
2019-11-16 20:39:18
204
原创 ArcGIS Clip（裁剪）时出现000117错误的解决办法
使用“裁剪（clip）”工具出现了“000117 警告: 生成的输出为空”拓扑无效 [空多边形不完整]原因和解决办法： 拓扑无效 [空多边形不完整]错误: 原因：两个图册的空间坐标系不同 解决：“Data Management Tools”－“投影与变换”－“要素”－“投影”工具，统一图层的坐标系 000117错误： 原因：失量图层有问题 解决：“Data Manag...
2019-11-16 20:36:48
18190
7
原创 Python看程序执行时间（time模块）
Python看程序执行时间需要用到time模块，该模块提供了各种时间相关的函数。相关功能还可以参阅datetime和calendar模块。time模块的官方文档https://docs.python.org/zh-cn/3.6/library/time.html#module-time这个模块是用C写的，源码见https://github.com/python/cpython/bl...
2019-10-21 17:03:19
628
原创 Jupyter notebook与Spyder，以及Jupyter notebook与Spyder集成插件
1.自己总结的Jupyter notebook与Spyder的区别Spyder是anaconda自带IDE，有“变量资源管理器”，可以很方便的检查变量，不便于管理多个项目的py文件。Jupyter notebook便于管理多个项目的py文件，便于共享，但没有“变量资源管理器”，不方便。2.Jupyter notebook与Spyder集成插件Spyder Notebook插件，gi...
2019-10-08 09:19:44
14374
4
原创 win10，pip更新后，Spyder打不开
近日在anaconda prompt中pip install xxx后，它提示我要不要更新pip，我就更新了下，结果spyder就打不开了。根据这篇博客https://blog.csdn.net/dugushangliang/article/details/90510589的方法得知，打不开的原因是Spyder-kernels 版本高于所需版本。解决方法是直接给spyder升级，参考htt...
2019-10-08 09:11:56
1659
2
原创 修改jupyter的保存位置
Anaconda3(64-bit)中的jupyter notebook 保存程序时，程序被保存在了系统盘的用户文件夹中。若修改保存位置，可采用下面的方法：进入cmd 按下”win+r”，并输入cmd，然后按下enter键进入cmd.exe。 找到jupyter notebook保存位置设置文件的位置 输入jupyter notebook --generate-confi...
2019-10-06 15:27:09
2178
转载 SqlServer导入mdf、ldf文件
第一种方法:1.打开SQL Server，写好登录名和密码点击连接.2.打开数据库，右键某一个数据库，选择“新建查询（Q）”。3.再代码界面输入如下代码，点击F5键或者点击运行按钮即可。代码如下：EXEC sp_attach_db @dbname = '你的数据库名', @filename1 = 'mdf文件路径（包缀名）...
2019-10-06 10:56:24
1094
原创 使用 SQL Server Management Studio (SSMS) 连接 SQL Server实例
参考资料 微软官方教程https://docs.microsoft.com/zh-cn/sql/ssms/tutorials/connect-query-sql-server?view=sql-server-2017连接到 SQL Server 实例 启动 SQL Server Management Studio。首次运行 SSMS 时，系统将打开“连接到服务器”窗口 。如未打开，可...
2019-10-06 10:55:10
10702
原创 时空快照模型snapshots
时空快照（Snapshots）时空快照模型是由一系列不同时间内的空间数据模型所组成。就像拍照一样，对一个运动目标进行连续快照。我们在资源动态监测中，常常寻找一个基准时间内资源的现状，然后获取不同时间的遥感影像，解译判读之后建立时间切片与基准时间内的资源现状进行对比，发现变化。这就是时空快照模型的一个应用实例。根据以上分析，时空快照模型是一个简单而又引人注目的模型，它具有传统制图和类似慢动作...
2019-09-26 17:29:06
1393
原创 win10下，cmd可以运行java，却不能运行javac
对于win10，配置好却只能运行java，却不能运行javac是什么原因呢？检查JAVA_HOME的配置是否有错检查ClassPath的配置是否有错，这也是新建的，但变是值为【.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar】，注意前面的符号前面两个没问题就剩下Path的配置了，按一般的网上教程，配置时都会是复制这段【%JAVA_HO...
2019-09-24 23:25:42
829
1
原创 NP-Hard问题及组合最优化问题
1.P类问题和NP类问题在讲NP-Hard问题问题之前，先讲P类问题和NP类问题P类问题：可以找到一个多项式时间复杂度的算法去解决的问题；NP类问题：可以在多项式时间复杂度的算法去验证结果正确性的问题；比如随便拿一个结果，可在多项式时间内验证该结果是否正确，但是想要求解该结果的时间复杂度就不知道了。P类问题一定是NP类问题，但是NP类问题不一定能找到多项式时间复杂度的算法来解决（要是找到...
2019-09-21 23:57:14
12329
转载 一套图 搞懂“时间复杂度”（转载）
本文转载自https://blog.csdn.net/qq_41523096/article/details/82142747，感谢博主，如有侵权，请联系我删除其实时间复杂度就是代码的基本操作执行次数转载的内容写在前面：这篇文章是在公众号： 程序员小灰 中发布的。是我到目前为止所看到的关于时间复杂度介绍的最好的文章，简介 清晰 明了。所以拿来po出来 仅供学习交流，如侵则...
2019-09-21 23:11:11
194
原创 GIS中的拓扑关系和ArcGIS中的拓扑
目录GIS中的拓扑关系ArcGIS中的拓扑GIS中的拓扑关系拓扑研究的是几何图形的一些性质，它们在图形被弯曲、拉大、缩小或任意的变形下保持不变。在变形过程中不使原来不同的点重合为同一个点，又不产生新点。拓扑有一个形象说法——橡皮几何学。拓扑变换：在原来图形的点与变换了图形的点之间存在着一一对应的关系，并且邻近的点还是邻近的点。几何（ Geometry）是与点的位置有关...
2019-09-19 18:31:41
16360
1
原创 机器学习方法三要素-阿里云大学
机器学习方法三要素-阿里云大学 参考李航《统计学习方法》1.3章统计学习三要素1. 机器学习方法三要素-模型、策略、算法2. 模型3. 策略3.1 策略衡量指标-损失函数（单个样本）真实值Y 预测值f(x)。如果计算公式中带绝对值，那计算往往会变得复杂。3.2 策略衡量指标-经验风险（整个训练集）3.3 结构风险=经验风险+正则化...
2019-09-16 17:23:43
313
原创 机器学习基本概念-阿里云大学
目录1. 机器学习方法流程2.输入与输出空间3. 特征空间（特征、特征向量、特征空间）4. 假设空间1. 机器学习方法流程features属性可以是原始数据的属性，也可以是处理后的属性2.输入与输出空间简单理解，空间对应的就是集合3. 特征空间（特征、特征向量、特征空间）4. 假设空间ps.西瓜书适合有一定基...
2019-09-16 16:45:56
209
原创 Excel下拉框设置多选
以office 2016中的excel为例：1、数据验证入口2、设置数据3、sheet页右击查看代码4、复制下面代码进去：5、效果如下：VB代码如下：Option ExplicitSub Worksheet_Change(ByVal Target As Range)'让数据有效性选择 可以多选,重复选Dim rngDV As RangeDim oldVal As ...
2019-09-09 17:04:31
63477
41
原创 机器学习-非监督分类算法之关联规则
什么是关联规则 关联规则中的必须知道的概念 关联规则的实现过程 关联规则的核心点——如何生成频繁项集（Apriori算法） 关联规则的核心点——如何生成频繁项集（FP-Growth算法） 注意点 误导我们的强关联规则-关联规则评价准则（必看）一、什么是关联规则Association Rule 所谓数据挖掘就是以某种方式分析源数据，从中发现一些潜在的有用的信息，即数据挖掘又可以称...
2019-09-04 08:22:01
1909
原创 访问控制符
1． 公共访问控制符 public ：如果一个类被声明为公共类，表明它可以被所有的其它类所访问和引用。用 public 修饰的类的域称为公共域。如果公共域属于一个公共类，则它可以被所有的其他类所引用。2． 私有访问控制符 private ：用 private 修饰的成员变量 ( 域 ) 只能被该类自身所访问，而不能被任何其它类 ( 包括子类 ) 所引用。3． 保护访问控制符 pro...
2019-09-01 10:11:16
781
原创 python 模块(Module)和包
阿里云大学人工智能学前小测验-Python测验19.以下关于模块说法正确的是A. 一个.py就是一个模块B. 任何一个普通的xx.py文件可以作为模块导入C. 模块文件的扩展名一定是 .pyD. 运行时会从指定的目录搜索导入的模块，如果没有，会报错异常参考资料：https://www.runoob.com/python/python-modules.html在下面...
2019-09-01 09:08:48
4296
原创 python pandas空值与缺失值处理
一、空值与缺失值空值：在pandas中的空值是""缺失值：在dataframe中为nan或者naT（缺失时间），在series中为none或者nan二、相关处理函数：df.dropna()df.fillna()df.isnull()df.isna()三、函数解释：1. DataFrame.dropna(axis=0,how='any',thresh=None,...
2019-09-01 09:06:27
8126
原创 python pandas数据匹配 merge函数
python中pandas数据匹配常用merge函数，其实merge函数就类似于excel中的vlookup hlookup lookup，最近excel又出了一个逆天的xlookup函数，默默地推荐一下，嘿嘿转载自：https://www.cnblogs.com/stream886/p/6022049.html，感谢博主一定要看里面的图，很形象使用Pandas进行数据匹配本文转载...
2019-09-01 09:06:19
16939
2
原创 python报错 SyntaxError: invalid character in identifier
从网上复制的python代码，不修改，往往会报错：SyntaxError: invalid character in identifier报错的原因通常是以下两种：有中文状态下的括号（解决方法：修改为英文格式） 代码的末尾有空格（解决方法：去掉空格）...
2019-09-01 09:04:38
546
原创 统计学中的自由度 Degrees of freedom (statistics)
拾人牙慧：wiki：In statistics, the number of degrees of freedom is the number of values in the final calculation of a statistic that are free to vary. 简单说,n个样本，如果在某种条件下，样本均值是先定的 (fixed)，那么只剩 n-1个样本的值是可以...
2019-09-01 09:03:45
5606
第六次人口普查全国各街道人口数据
2020-12-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人