![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
实习生涯
文章平均质量分 66
记录实习期间遇到的疑难问题以及解决方案
skywuuuu
这个作者很懒,什么都没留下…
展开
-
实战:Elastic Search+python中的json至少要掌握的几个操作
端口不是连5601,5601是kibana的,9200才是elasticsearch本身的端口创建插入实战代码from elasticsearch import Elasticsearchimport osimport jsonimport randomimport redef get_ids(data_collection): ids = [] for data in data_collection: ids.append(data['entityId原创 2021-04-23 15:01:24 · 574 阅读 · 2 评论 -
实战:使用py2neo和pandas处理海事数据
函数createNode:在neo4j中创建节点createRelationship:在neo4j中创建节点的关系matchNode:在neo4j中匹配数据get_ship_properties:得到所有船的属性csv2df:将csv转为dfdf2neo:将df(从df中提取的数据)转为neo4j代码from py2neo import *import osimport pandas as pdimport numpy as np# 数据库graph = Graph('htt原创 2021-04-06 16:02:48 · 669 阅读 · 0 评论 -
时间序列预测方法总结(转)
本篇就是链接有2323人点赞的时间序列分析方法总结,之前做时间序列分析的时候参考的大全(太多方法了没看得很详细)。还记得那天,问领导有没有什么比较好的学习xxx技术的方法,领导直接把该链接发给我,我还非常得意,因为我早看过了啊哈哈哈哈哈哈!然后领导拉了个小群,把另一个同事拉了进来说有啥不懂的可以咨询,因为这篇文章是他写的。。高手竟在我身边,小丑竟是我自己。。于是我还是打算转一下这个链接,顺便记录下这件有意思的事情。...原创 2021-02-26 14:40:12 · 591 阅读 · 0 评论 -
LSTM基础
由来Vanilla RNN无法记忆之前的信息,比如:“我来自中国……我能流利地说中文 ”,“中文”二字来自很长的语句之前,所以这个填空就很不好填。LSTM可以较好的解决这个问题。结构σ\sigmaσ代表sigmoid函数,黄色的框框代表可被训练的layer,红色的圈圈代表直接的运算核心门的理念:让被允许通过的信息通过,阻止不被允许通过的信息通过。sigmoid的值域为[0,1],再加上乘法,就可以决定让百分之多少的信息通过。从极值来看,sigmoid的output为0代表所有信息都无法通过,1原创 2021-02-26 14:29:05 · 133 阅读 · 0 评论 -
实战:使用Prophet做个简单预测
数据格式将下面的输入表格转为以ds和y为名字的两列,ds是时间,y是值。没什么理由,Prophet框架就是这样的(????)timeabc (随便列名)2010/1/110.1…2010/12/110.12011/1/110.1…2011/12/110.1…计算ACF直接from statsmodels.graphics.tsaplots import plot_acf使用plot_acf函数从图上来看好像情况不错,那就接原创 2021-02-23 08:55:57 · 1329 阅读 · 5 评论 -
fbprophet绝对正确配置心路历程
windows版本配置方法1. 通通删掉其余的源,只保留配置Anaconda源为清华源conda config --remove-key channels # 删除别的所有源conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/2. 使用Anaconda先创建一个python=3.6的环境,并激活conda create -n env_name python=3.6activat原创 2021-02-01 18:08:38 · 252 阅读 · 0 评论 -
xlrd安装与入门常用指令归纳
前言在近期的数据处理实战中,发现自己虽然对于pandas的使用比较流畅,但还是有出现常用指令(列,行的增删改查等等)记不住等问题,即使上网搜索十分便捷,但效率始终不高,故再次归纳一下pandas常用指令。...原创 2021-01-31 08:56:48 · 1158 阅读 · 1 评论 -
清晰明了的DataFrame行列处理
处理,提取行和列df[]功能介绍例子:df.loc[]功能介绍例子:df.iloc[]功能介绍例子:df多重索引用tuple的方式,例如:df[i, ('调查地(户内/户外)','调查地(户内/户外)','调查地(户内/户外)')]修改行和列的名称遍历df字符串的替换判断df是否为空...原创 2021-01-30 12:37:28 · 796 阅读 · 2 评论 -
实战:再论pandas,正则表达式和xlrd格式化分类并提取多个excel文档数据
前言陆陆续续又进行了几次数据处理,这些任务都大体沿用了第二次实战的总结过的思路和方法,效率都挺高的。今日再次有了一些新思路,便再次总结一番。前一版本的不足第二次实战中有所不足:无法处理excel的sheet中出现的同一时间的多份不同地点的统计数据需要手动设定行数在字符串的正则表达式匹配上有所不足无法处理excel多重表头(excel中出现合并单元格之后怎么办?MultiIndex如何处理?)没有中间存储的机制(有中间数据先进行保存如果有需要手动检查的会更方便)Input输入的表格文原创 2021-01-22 15:06:37 · 349 阅读 · 0 评论 -
实战:简单的基于周期因子的时间序列预测
前言时间序列预测第一次尝试,效果很差劲hhhh,但总算是迈出了第一步。思路原excel的样子:时间(单位:月)密度(只/笼)2016/1/10.542016/2/10.21…………2016/12/10.12017/1/10.2…………2020/11/10.1从excel中提取这两列表格,并转换为以年份为行,月份为列的表格:以2020年的数据作为真实值(truth)12345678910原创 2021-01-06 09:17:34 · 1438 阅读 · 0 评论 -
实战:运用pandas,正则表达式(re),xlrd,进行多个excel数据汇总,分类
实战:运用pandas,正则表达式(re),xlrd,进行多个excel数据汇总,分类前言实习中的第二次实战,相比于第一次处理数据,这一次我更清晰地划分了函数功能,使得开发过程比第一次更快速了(比上次快了半天),尽管还是花了一天半(捂脸)。第一次实战总结Input输入表格文件夹中的excel文件,格式如下: 蝇类监测记录表(笼诱法) 调查日期:2030 年 4 月 调查地点: YY 省(自治区、直辖市) XX原创 2021-01-04 16:32:51 · 2087 阅读 · 0 评论 -
DataFrame的愚蠢bug记录:TypeError: only integer scalar arrays can be converted to a scalar index
DataFrame的愚蠢bug记录花了快一小时debug这个错误:TypeError: only integer scalar arrays can be converted to a scalar index,怎么也查不到原因,最后发现是一个小错误。。原本的代码import pandas as pdimport numpy as npdata = np.array([['Sky','John','Lily'], [18,20,23]])columns = ['名字','年纪']原创 2020-12-31 17:13:58 · 4029 阅读 · 5 评论 -
RNN初探(vanilla RNN)
RNN初探前言实习工作需要,不得不入个新坑。为什么需要Recurrent Neuron Network (RNN)全连接神经网络(FCN)和卷积神经网络(CNN)所针对的输入对象相互之间可以没有关系,不分先后顺序,比如如果要对猫和狗的图像进行分类,猫和狗的输入顺序是无所谓的。不过,如果要识别视频中狗的动作,那么就需要一个新的网络(当然这里就是RNN啦)来分析这种序列数据。举例序列数据其实在生活中无处不在:机器翻译异常检测(图像)股票分析预测天气与蚊虫繁殖的关系…只要有序列数据,原创 2020-12-30 16:43:58 · 2337 阅读 · 1 评论 -
使用爬虫(lxml)+requests收集厦门2016-2020每一天的历史天气信息
使用爬虫(lxml)+requests收集厦门2016-2020每一天的历史天气信息get_month_data函数作用:得到每个月的数据集合,并返回一个pd.DataFrame。其中使用了xpath的方式提取数据etree_html = etree.HTML(html.text)content = etree_html.xpath(Xpath) # content是一个list使用numpy对数据reshape将数据转换到DataFrame中get_month_html函数作用:原创 2020-12-25 17:57:11 · 154 阅读 · 0 评论 -
实战:从文件夹中庞大的excel(.xlsx)文件中提取并整合数据
从文件夹中庞大的excel(.xlsx)文件中提取并整合数据Input需要从文件夹树中提取有格式的单个数据格并汇总。例如:2017-2020x市蚊虫数据/2018/7月/abcds方法统计.xlsxOutput每年中每个月的数据例如:年月xx县统计结果yy县统计结果201713.54.5201725.53.5…………思路得到所有文件的绝对路径file_collection = []for dir, subDir, files原创 2020-12-25 11:20:14 · 1453 阅读 · 3 评论