大数据
文章平均质量分 76
王负剑!王负剑!
这个作者很懒,什么都没留下…
展开
-
spark搞大数据--填坑笔记(一)
前言:准备利用这段时间好好搞搞大数据这套东西,从很早之前就听闻Google三宝的传说,但是时至今日才得以接触到它们衍生出来各种技术。虽然时常被不知道何处的问题搞的筋疲力竭,可是一旦调通了,真是太有意思了。技术平平,翻阅各种大神的博客,填坑无数,从而写下此笔记。 一.配置与工具 系统版本:ubuntu 18.04LTS 编译器工具:idea 2018.2.1社区版 使用idea自带maven...原创 2018-09-28 16:24:06 · 1032 阅读 · 0 评论 -
阿里天池竞赛 A股上市公司营收预测 使用LSTM模型做时序预测
参赛结束了,最后结果一百多名,先把清洗好的数据和预测算法文件记录下来。 使用的完全代码和数据 https://download.csdn.net/download/infent/10693927 代码注释如下 # -*- encoding:utf-8 -*- import pandas as pd import numpy as np import sys from keras.layer...原创 2018-09-28 17:41:58 · 2341 阅读 · 3 评论 -
Pandas数据处理之读写专题
使用pandas进行数据处理有一段时间了,对我遇到的数据读取方面的问题和解决手段进行如下汇总。 数据读取: 1.读取Excel文件 read_csv Unicode DecodeError:‘utf-8’ codec can not decode byte 0xb1 in position 0 :invalid start byte。 编码问题:一般Excel的默认编码为ANSI, 这是微...原创 2018-10-31 13:51:22 · 497 阅读 · 0 评论 -
pandas追加写入excel---创建多个sheet表单
在写入表格时候给自己挖了个坑,图省事直接用to_excel(fileuri,sheetname)写入,怎么写怎么覆盖 。后来隐约感觉到是自动关闭writer的锅,改成writer读写后就好了。 writer = pd.ExcelWriter(filepath) companydf.to_excel(excel_writer=writer,sheet_name='公司维度表') goodsdf....原创 2018-10-31 16:28:06 · 43874 阅读 · 7 评论 -
什么是P问题、NP问题和NPC问题
转载自 matrix67的博客,对于NP问题的来龙去脉讲解的非常好。 这或许是众多OIer最大的误区之一。 你会经常看到网上出现“这怎么做,这不是NP问题吗”、“这个只有搜了,这已经被证明是NP问题了”之类的话。你要知道,大多数人此时所说的NP问题其实都是指的NPC问题。他们没有搞清楚NP问题和NPC问题的概念。NP问题并不是那种“只有搜才行”的问题,NPC问题才是。好,行了,基本上这...转载 2019-01-14 16:57:41 · 610 阅读 · 0 评论