liangyingyi1006的博客

转载 电商商品评论主题分析（LDA）

下面代码的意思是从评论数据中抽取品牌是美的的数据（15-1）#-*- coding: utf-8 -*- import pandas as pd inputfile = '../data/huizong.csv' #评论汇总文件 outputfile = '../data/meidi_jd.txt' #评论提取后保存路径 data = pd.read_csv(inputfil...

翻译 基于LSTM对时间序列进行预测

本文的案例来自https://machinelearningmastery.com/time-series-prediction-lstm-recurrent-neural-networks-python-keras/注：以下内容在该案例中进行了删改。我们要在这篇文章中看到的问题是国际航空乘客预测问题。这是一个问题，在一年一个月的时间里，任务是预测1000个国际航空公司的乘客数量。数据范围从194...

原创 感知器实战

一、定义感知器接口方法：通过使用面向对象编程的方式在一个Python类里定义感知器接口，使得我们可以初始化新的感知器对象，并使用类中定义的fit方法从数据中进行学习，用predict方法进行预测。import numpy as npclass Perceptron(object): def _init_(self,eta=0.01,n_iter=10): self

原创 2.Iris数据集：感知器模型的简单实战（分类）

1

原创 机器学习实战之线性回归+局部加权线性回归

一、线性回归 用线性回归找到最佳拟合直线回归的目的是预测数值型数据，根据输入写出一个目标值的计算公式，这个公式就是回归方程（regression equation），变量前的系数（比如一元一次方程）称为回归系数（regression weights）。求这些回归系数的过程就是回归。假设输入数据存放在矩阵X中，回归系数存放在向量w中，那么对于数据X1的预测结果可以用Y1=XT1w

原创 实战：航空公司客户价值分析

一、 背景与挖掘目标试图实现以下目标：（1）借助航空公司数据，对客户进行分类。（2）对不同类别的客户进行特征分析，比较不同类别客户的价值分析。（3）对不同价值的客户类别进行个性化服务，制定相应的营销策略。二、分析方法使用 LRMFC模型来进行分析L：三、数据探索1、对比describe（）函数（1）（2）

原创 《Python数据分析与挖掘实战》逻辑回归建立

一、逻辑回归模型建立结果展示：

原创 Java内存分配

转载 正则表达式

字符串是编程时涉及到的最多的一种数据结构，对字符串进行操作的需求几乎无处不在。比如判断一个字符串是否是合法的Email地址，虽然可以编程提取@前后的子串，再分别判断是否是单词和域名，但这样做不但麻烦，而且代码难以复用。正则表达式是一种用来匹配字符串的强有力的武器。它的设计思想是用一种描述性的语言来给字符串定义一个规则，凡是符合规则的字符串，我们就认为它“匹配”了，否则，该字符串就是不合法的。所以我...

转载 python字符串

注意：本文内容主要是自廖雪峰的python基础教程的归纳总结，紫色字体是个人添加的内容。一、字节的概念8个比特（bit）作为一个字节（byte），所以，一个字节能表示的最大的整数就是255（二进制11111111=十进制255），如果要表示更大的整数，就必须用更多的字节。比如两个字节可以表示的最大整数是65535，4个字节可以表示的最大整数是4294967295bytes只能存放ASCII编码，即...

原创 python进行情感分析

一、数据获取在天猫爬取斯凯奇品牌下的男鞋店铺共5或6个，除去重复评论后，共条，放在Excel文件。二、文本预处理import pandas as pdimport numpy as npimport jiebaimport warningswarnings.filterwarnings(action='ignore', category=UserWarning, module='gen...

转载 回归数学原理

本文转自：https://www.cnblogs.com/ooon/p/5485231.html梯度下降之随机梯度下降 -minibatch 与并行化方法问题的引入：考虑一个典型的有监督机器学习问题，给定m个训练样本S={x(i),y(i)}，通过经验风险最小化来得到一组权值w，则现在对于整个训练集待优化目标函数为：其中为单个训练样本（x(i),y(i)）的损失函数，单个样本的损失表示如下：引入L...

原创 基于CENTOS6.5搭建Hadoop集群

一、安装虚拟机二、环境nat配置Nat设置：查看得到192.168.201.2su命令，打开以下文件，删除其他行以得到下图：添加以下行：对slave1和slave2也做同样操作：三、配置JDK环境共享目录share到Linux系统（/mnt/hgfs/share）配置文件修改：修改~/.bashrc文件配置slave1和slave2：四、开始安装hadooptmp文件存放临时文件：vim mast...

转载 PCA数学原理

本文转自：http://mp.weixin.qq.com/s?src=3&timestamp=1505011423&ver=1&signature=DgOcZ6tIf3lWEbUJ8NSJKXJ-DXas8riXEaw8DCGsNoFcbyAddeZUF747KtrJT2N7SqoVu-MUNPT45ufDnFDo5Rk8QUCRGQu5Fi6J9G8-l0Q*BZYiiwR-QcJte3sSFH

转载 Python如何转换百分数字符串为浮点数

本文转自http://www.datastudy.cc/article/5d8624e4a1d0d91fbc59fc3f9ad8704d?from=zhihu很多时候，我们拿到的报表数据，里面的小数都是带百分号的字符串，不能进行直接的计算，需要对其进行转换，然后再输出。解决方法：from pandas import DataFrame;df = DataFrame({'

转载 GridSearchCV的使用方法

本文转自：http://blog.csdn.net/u012897374/article/details/749999401. grid search是用来寻找模型的最佳参数先导入一些依赖包from sklearn.ensemble import GradientBoostingClassifierfrom sklearn.grid_search import GridSea

原创 安装新虚拟环境的方法&访问国内镜像方法

原版本为2.7的环境，以下是增加3.6.1python的过程#在cmd中写入命令 更新conda update conda #创建python3.6的环境conda create --name python3 python=3.6activate python3在环境中安装anaconda的库conda install spyder/Jupter以上步骤完成后，会在原有Spyder的基础上自动安装...

转载 Python数据分析必备Anaconda安装、快捷键、包安装

本文转自http://www.cnblogs.com/jackchen-Net/p/6909395.html要点导航1.Anaconda操作2.安装Graphviz 3.Anaconda的快捷键4.创建多环境的Anaconda5.Anaconda中的安装包Python数据分析必备：回到导航1.Anaconda操作    Anacond

原创 聚类参考资料

聚类参考资料

原创 安装keras库/tensorflow库

安装以tensorflow为后端的keras参考：http://blog.csdn.net/u013829973/article/details/70555037tensorflow这里安装1.0版本，https://mirrors.tuna.tsinghua.edu.cn/tensorflow/安装tensorFlow（此方法为创建一个新的虚拟环境tensorflow）参考http://blog...

转载 《Python数据分析与挖掘实战》代码问题

本文转自：http://blog.csdn.net/qq_27469517/article/details/53482563整个第四章都是数据预处理。4.1是数据清洗。就是处理无关数据，缺失或者异常数据等等。具体看书，就不赘述了，还是上代码实践。书上给的代码是有问题的！[python] view plain copy

转载 Pandas——ix vs loc vs iloc区别

1. loc——通过行标签索引行数据1.1 loc[1]表示索引的是第1行（index 是整数）[python] view plain copy print?import pandas as pd  data = [[1,2,3],[4,5,6]]  index = [0,1]  columns=['a','b','c']

转载 Python运算符和表达式

本文转载自http://www.cnblogs.com/yueya/p/5811937.html算术运算符：比较运算符：赋值运算符：位运算符：逻辑运算符：身份运算符：成员运算符：运算符优先级：

转载 1.python基础要点（三）

注：本文主要一、递归函数定义：如果一个函数在内部调用自身本身，这个函数就是递归函数。在函数内部，可以调用其他函数。如果一个函数在内部调用自身本身，这个函数就是递归函数。举个例子，我们来计算阶乘n! = 1 x 2 x 3 x ... x n，用函数fact(n)表示，可以看出：fact(n) = n! = 1 x 2 x 3

原创 假设空间 版本空间&查全率 查准率

一、假设空间 版本空间根据P4表1.1和P5图1.1得，       假设空间为：     1 色泽＝＊，     根蒂＝＊，    敲声＝＊2 色泽＝青绿， 根蒂＝＊，    敲声＝＊3 色泽＝乌黑， 根蒂＝＊，    敲声＝＊4 色泽＝＊，     根蒂＝蜷缩，敲声＝＊5 色泽＝＊，     根蒂＝硬挺，敲声＝＊6 色泽＝＊，     根蒂＝稍蜷，敲声＝＊7 色泽＝＊，     根蒂＝＊，  ...

转载 1.Python基础要点（二）

一、

原创 1.Python基础要点（一）

变量：变量可不定义，但一定要有赋值。一、python基础1、输出和输入输出在print（）中输入字符串，就可以向屏幕上输出相应的字符串，如'hello world';print（）也可以接受多个字符串，用逗号隔开，每个逗号代表一个空格：print（）也可以打印和计算数字：输入Python3版本中input默认接收到的是str类型，如：结果如下：...

转载 常见正则表达式

转载自心存善念的博客，地址为http://www.cnblogs.com/xcsn/p/4677605.html正文如下：一、常见正则表达式匹配中文字符的正则表达式： [u4e00-u9fa5]   　　评注：匹配中文还真是个头疼的事，有了这个表达式就好办了 　　匹配双字节字符(包括汉字在内)：[^x00-xff] 　　评注：可以用来计算字符串的长度（一个双

转载 scikit-learn的主要模块和基本使用

本文转载自JasonDing简书专栏，地址为http://www.jianshu.com/p/1c6efdbce226引言对于一些开始搞机器学习算法有害怕下手的小朋友，该如何快速入门，这让人挺挣扎的。在从事数据科学的人中，最常用的工具就是R和Python了，每个工具都有其利弊，但是Python在各方面都相对胜出一些，这是因为scikit-learn库实现了很多机器学习算法。