python
文章平均质量分 73
翻滚的老鼠屎
零基础学习python,跌跌撞撞龟速前行。后来因为实验室的需要浅尝辄止地接触过C#、R、MATLAB等语言,兜兜转转陡然发现:人生苦短,我爱python!
写这个博客,给所有像我一样在敲代码的世界里道阻且艰然而不抛弃不放弃的朋友们,纵使是“老鼠屎”也不甘一直是“老鼠屎”,愿我们可以相互鼓励,共同进步,在敲代码的世界里走出自己的路!当有一日进阶大神也不忘初心:曾经,我是一颗翻滚的老鼠屎!
展开
-
图注意力模型GAT代码分析(Keras版)
本文分享一个对Keras版GAT源码的分析。GAT原文:https://arxiv.org/abs/1710.10903,建议参考着知乎superbrother大神的文章进行理解。TensorFlow版可以看:https://github.com/PetarV-/GAT源代码 github:https://github.com/danielegrattarola/keras-gat1 u...原创 2019-10-28 21:35:41 · 7597 阅读 · 13 评论 -
地铁大数据挖掘之数据预处理——从原始一卡通数据提取城市地铁客流(二)
关于初步处理,请参考地铁大数据挖掘之客流数据预处理——从原始一卡通数据提取城市地铁客流(一)。 上一篇博客对数据进行了初步处理,得到结果如下图: ”_10min“字段代表所处的时间片(比如1代表0:00-0:10),inputnums代表进站客流,outputnums代表出站客流。 然而,这一结果在使用时存在两个问题:我们在计算地铁站时,大部...原创 2019-10-18 16:04:16 · 4254 阅读 · 1 评论 -
地铁大数据挖掘之数据预处理——从原始一卡通数据提取城市地铁客流(一)
这是很久以前写的一段代码,很简单很基础。最近突然用到,这里把它分享出来,希望可以为有需要的朋友提供帮助。 以及欢迎阅读这一系列第二篇:地铁大数据挖掘之客流数据预处理——从原始一卡通数据提取城市地铁客流(二)1 解压文件 这里以上海城市开放大赛提供的数据为样例(提取码zlsy),需要的朋友可以进行下载。把数据进行解压后,看到是一个个压缩文件: 接下来,可以...原创 2019-10-18 15:37:05 · 12588 阅读 · 42 评论 -
如何建立Multi-Step(多步预测)的LSTM时间序列模型(以对家庭用电预测为例)
译自How to Develop LSTM Models for Multi-Step Time Series Forecasting of Household Power Consumption~ 随着智能电表的兴起和太阳能电池板等发电技术的广泛应用,有大量可用的用电数据。这些数据代表了一系列与电力相关的多元时间序列,进而可以用来建模甚至预测未来的用电量。 与其他机器...翻译 2019-05-29 17:11:22 · 27340 阅读 · 3 评论 -
如何理解Keras中的TimeDistributed层并在LSTM中使用
老规矩,主要框架译自How to Use the TimeDistributed Layer for Long Short-Term Memory Networks in Python~,中间加了一点点自己的理解。 长短时记忆网络(LSTMs)是一种流行且功能强大的循环神经网络(RNN)。它们很难配置和应用于任意序列预测问题,即使使用定义良好且“易于使用”的接口(如Python中...原创 2019-03-21 17:00:06 · 21044 阅读 · 13 评论 -
Keras实战:基于LSTM的股价预测方法
Hi,这里是一只殚精竭虑的老鼠屎。最近在处理公交数据,模型效果非常不理想。过程中学习了师兄留下的lstm做的金融数据预测,使用的是keras框架,这里整理一下。这篇博客里面交代了包括数据的处理、模型搭建、模型调参、模型评估等重要环节,十分适合新手入门。师兄留下的jupyter notebook出处不详。目录1 准备工作1.1 引入相关库1.2 引入参数2 构建模型...原创 2018-11-17 10:32:59 · 22789 阅读 · 38 评论 -
Python爬虫--爬取历史天气数据
写在前面:爬虫是老鼠屎在进入实验室后接触的第一个任务,当时刚刚接触代码的老鼠屎一下子迎来了地狱难度的爬微博签到数据。爬了一个多月毫无成果,所幸带我的师兄从未给我疾言厉色,他给与了我最大的包容与理解。尽管无功而返,但是那一个月也给了老鼠屎充足的学习时间,让老鼠屎对爬虫有了一点点的理解和执念。今天老鼠屎由于项目原因又需要爬天气数据,所以在这里把老鼠屎的一点经验写在这里,希望能给向曾经的我一样迷...原创 2018-11-02 16:08:06 · 13455 阅读 · 26 评论 -
使用folium对地理信息可视化
Hi,我是老鼠屎。最近在做地理信息可视化进度基本为龟速。但是探索的过程中发现了folium神器,在这里进行一些整理。 Folium可以让你用Python强大生态系统来处理数据,然后用Leaflet地图来展示。Folium内置一些来自OpenStreetMap、MapQuest Open、MapQuest Open Aerial、Mapbox和Stamen的地图元件(tilese...原创 2018-11-03 12:51:03 · 11684 阅读 · 8 评论 -
pandas保存csv乱码问题解决方案
老鼠屎使用pandas处理数据时,在to_csv时出现了小插曲。老鼠屎的数据格式如下: 然而保存至csv后出现严重乱码 这里,老鼠屎提供一下解决方案,在to_csv时,我们加上encoding="utf_8_sig"即可。即:df.to_csv("xxx.csv",encoding="utf_8_sig") 来看一下效果把...原创 2018-10-17 20:22:15 · 3478 阅读 · 1 评论 -
老鼠屎地理信息可视化第三弹:Plotly+Pyecharts绘制地理坐标系线图
由于最近老鼠屎做的东西和地图上的线型图相关,因此在这里做一点简单总结。很多地方都调试得很不理想,希望成功的地方可以给大家带来一点点启发,不理想的地方也欢迎大神们赐教。1 Plotly1.1 地图上绘制线 有关pyplot的相关在老鼠屎的博文使用plotly神器绘制地图(Python版--demo虽易,操作不易,且学且珍惜)中有过简要介绍,这里老鼠屎根据自己的需要写了一个小...原创 2018-10-17 19:16:11 · 6203 阅读 · 0 评论 -
使用plotly神器绘制地图(Python版--demo虽易,操作不易,且学且珍惜)
Hi,好久不见,我是翻滚的老鼠屎。步入二年级的老鼠屎看着师兄师姐找工作步履维艰,深感压力,然而无奈最近身体一直出问题,有心发奋却无力用功。回到CSDN发现多了好多小伙伴,惊喜的同时更加有了动力。谢谢大家一直以来对老鼠屎的支持和鼓励,你们的爱是我的翅膀,给我穿越风雨的力量 上学期写过一篇关于地图制作的博客,这里介绍第二种方法,利用plotly绘制地图。然而博主研究的过程中遇到很多问...原创 2018-09-27 15:47:04 · 14645 阅读 · 11 评论 -
Python内置类型性能分析
从前使用python时,被叮嘱一些规则,如:尽量使用列表索引而非直接直接遍历列表内元素等。当时只是强行记住然而并不了解当中原因,如今稍有理解在此进行一点点总结。引子li=[]li.append()li.extend() 对于上面的代码,计算时间复杂度时不能单纯地认为li.append()这句话时间复杂度为O(1),因为list并不是基本步骤,它相当于python当中的一个函数,因...原创 2018-07-13 20:49:52 · 377 阅读 · 0 评论 -
2019校招华为机试小记:字符串加密(老鼠屎版)
又到一年好几度的招聘季,实验室师兄们纷纷开始笔试。老鼠屎帮师兄们答题一点心得整理如下。题目一:字符串加密时间限制:C/C++1秒,其他语言2秒 ...原创 2018-07-04 20:59:58 · 1456 阅读 · 0 评论 -
处理Jupyter Notebook报错:IOPub data rate exceeded
近来,博主在使用jupyter notebook处理数据时遇到如下问题: 明明很简单的一个text,却无法正常显示。后查得这是jupyter内存的问题,调整过后即可正常显示。下面来介绍一下处理的方法吧STEP1 在cmd中输入:jupyter notebook --generate-config,可以看到生成一个路径STEP2 找到对应路径下的文件,从中找到iopub_d...原创 2018-06-15 15:04:59 · 59641 阅读 · 28 评论 -
pandas操作SQL Server数据库
最近处理公交数据,原数据存在SQL Server数据中。从前处理数据时师兄让导至csv中处理,然而能够处理的数据毕竟有限,因此尝试直接将python连至数据库,在这里将老鼠屎使用的方法和大家分享,如有错误也请看官批评指正。 在这里提前交代一下博主的使用环境。操作系统:windows7,python版本:python3.6。1 Python连接SQL Server数据库 博主使用...原创 2018-05-29 21:19:23 · 19746 阅读 · 2 评论 -
pandas求两个表格不相交的集合
Hi,好久不见,我还是那颗翻滚的老鼠屎。处理数据时想求两个表格求不相交的部分,或许是对知识的匮乏限制了我的想象力,并未找到直接求的方法,在这里介绍老鼠屎技己使用的方法,希望对读者会有帮助。 阴影部分为所要求的部分 首先先造两个DataFrame来做示例。import pandas as pd a0={"number":range(10),"letter":["a","a...原创 2018-05-26 11:39:50 · 4584 阅读 · 0 评论 -
使用python将图片按标签分入不同文件夹
给定图像集如下,所有类别的图片均在一个文件夹内: 给定与图片名相匹配的表格,声明每张图片对应的类别(共有20个类别): 那么,如何根据表格中所给的类别将图片分入对应的文件夹内呢?以我的情况为例,我想将图片分为20类(CATEGORY_ID有0-19共20类),可利用下面的代码进行分类(经细心网友指正,代码已做出修改)。#引入相关库import pan...原创 2018-05-09 15:56:20 · 8567 阅读 · 42 评论