慢蜗牛_木心-CSDN博客

原创 hive表操作

1、创建管理表，hive会自动增加两个表属性，最后修改表的用户名和最后修改表的时间。hive> create table if not exists mydb.employees( name string comment 'name' salary float comment 'salary' subname array<stri...

2019-09-11 10:11:55 237

原创 python数据挖掘笔记（1）—数据预处理

一、数据清洗1.缺失值处理均值，中位数，众数插补使用固定值最近邻插补回归方法插值法（拉格朗日插值法，lagrange();牛顿插值法；样条插值法，等等）2.异常值处理删除含有异常值的记录视为缺失值平均值修正不处理（是在引起异常的原因正常的情况下）二、数据集成数据挖掘需要的数据往往分布在不同的数据源里，数据集成就是把多个数据源合并到一个一致的数据存

2017-07-11 18:21:57 1055

原创 python函数式编程

一、lambda()主要用来自定义行内函数二、map()首先定义一个函数，再用map()命令将函数逐一应用到map列表中的每个元素，最后返回一个数组例如：map(lambda x,y : x*y,a,b) 表明将a,b两个列表的元素对应相乘，把结果返回到新列表。三、reduce()用于递归运算例如：reduce(lambda x,y : x*y,range(1,n+1)

2017-07-06 17:58:08 301

转载 RNN与LSTM原理

Recurrent Neural Networks人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。我们的思想拥有持久性。传统的神经网络并不能做到这点，看起来也像是一种巨大的弊端。例如，假设你希望对电影中的每个时间点的时间类型进行分类。传统

2017-06-28 15:25:46 1388

转载 python数据分析学习路线

Python是一种面向对象、直译式计算机程序设计语言，由Guido van Rossum于1989年底发明。由于他简单、易学、免费开源、可移植性、可扩展性等特点，Python又被称之为胶水语言。下图为主要程序语言近年来的流行趋势，Python受欢迎程度扶摇直上。图片来源用Python玩转数据由于Python拥有非常丰富的库，使其在数据分析领域也有广泛的应用。由于Python

2017-06-23 16:28:38 2881

原创 matplotlib图例中文显示问题

import numpy as npimport pandas as pdfrom pandas import DataFrame,Seriesimport matplotlibimport matplotlib.pyplot as pltimport pylab as pl #simkai.ttf 是电脑控制面板里字体的一种，这里是楷体chinese =ma...

2017-06-13 15:51:07 8182

转载 Python图表绘制：matplotlib绘图库入门

matplotlib 是python最著名的绘图库，它提供了一整套和matlab相似的命令API，十分适合交互式地行制图。而且也可以方便地将它作为绘图控件，嵌入GUI应用程序中。它的文档相当完备，并且Gallery页面中有上百幅缩略图，打开之后都有源程序。因此如果你需要绘制某种类型的图，只需要在这个页面中浏览/复制/粘贴一下，基本上都能搞定。在Linux下比较著名的数据图工具还有gnupl

2017-06-13 11:15:41 497

原创 python数据结构及区别

一、python 自带1.元组 tuple，圆括号（），一维，定长，不可修改。2.列表 list，方括号 [ ]，一维，变长，可修改。3.字典 dict，花括号 { }，有键和值4.集合 set，set（[ ]），内容相等则相等，没有顺序之分。二、numpy1. 多维数组 ndarray，array（[ [ ]，[ ]，[ ] ]，[ [ ]，[ ]，[

2017-06-02 17:44:07 832

转载 mysql取周，月，年数据

查询当前这周的数据 SELECT name,submittime FROM enterprise WHERE YEARWEEK(date_format(submittime,'%Y-%m-%d')) = YEARWEEK(now()); 查询上周的数据 SELECT name,submittime FROM enterprise WHERE YEARWEEK(date_format

2017-05-09 18:12:35 507

木心