话话121-CSDN博客

原创 MySQL报错You can't specify target table 't_object_para' for update in FROM clause解答

在写MySQL的更新语句的时候出现报错：You can't specify target table 't_object_para' for update in FROM clause记录下来MySQL中You can't specify target table 't_object_para' for update in FROM clause的错误意思是说，不能先select出同一个标志给...

2018-12-19 16:00:29 194

原创 sklearn学习之--预处理数据

sklearn学习之--预处理数据1.标准化，也成为曲俊致和方差按比例缩放说明：什么是标准化：数值减去均值，再除以标准差什么是中心化：变量减去他们的均值意义：数据中心化和标准化在回归分析中是取消由于量纲不同，自身变异或者数值相差较大一起的误差。 ...

2018-09-16 14:58:16 394

原创 sklearn聚类之—KMeans

sklearn聚类之—KMeans未标记的数据的Clustering(聚类)，可以是使用模块sklearn.cluster来实现每个clustering algorithm（聚类算法）有两个变体：一个是class，他实现了fit的方法来学习训练数据的cluster，还有一个函数，是给定训练数据，返回与不同的cl...

2018-09-14 14:54:15 7569

原创 SKlearn(二)之----SVM

支持向量机支持向量机(SVMs）可以用于以下监督学习分类，回归和异常检测支持向量机的优势在于：在高位空间中非常有效即使在数据维度比样本数量大的情况下仍然有效在决策函数中使用训练集的子集，因此他也是高效利用内存通用性：不同的核函数与特定的决策函数--赌赢。常见的k...

2018-09-05 16:27:16 18290 1

原创 hive3之----优化

1.Map优化---作业会通过Input的目录产生一个或者多个map任务.set dfs.block.szie=128---Map越多越好吗？是不是保证每个Map处理接近文件块大小？---如何合并小文件，减少map数set mapred.max.split.size=100000000;set mapred.min.split.size.per.node=100000000;...

2018-09-03 11:39:57 641

原创 hive2---之数据定义及数据操作

数据定义及数据操作一.DDL 1.1 创建表创建内部表（默认是内部表，一般如果数据的写入和表的建立都需要hive操作的话就用内部表） create table movie_table( movieId...

2018-09-03 11:06:19 211

原创 hive基础1--之理论

hive基础理论1.什么是hive hive是同一个SQL解析引擎，目的是将SQL转义成MR，其本质就是MR。 hive本身不存储数据！它的数据存储在HDFS上，hive中有表定义，这个纯逻辑表，定义表的元数据。本质就是hadoop的目录/文件达到了元数据与数据存储分离的目的。 hive的内容...

2018-09-02 11:46:20 300

原创 hive1.2.2+mysql5.6.41+hadoop2.6.1安装过程（以及中途遇到的各种坑）

hive1.2.2+mysql5.6.41+hadoop2.6.1安装过程一.安装MySQL 1.下载mysql的repo源wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm 2.安装mysql-community-release-el...

2018-08-30 13:27:39 360

原创 scikit-learn v0.19学习笔记之——————决策树（回归）

决策树-回归 Decision Trees(DTS)是一种用来classification(分类)和regression（回归）的无参监督学习方法。其目的是创建一种模型从数据特征中学习简单的决策规则来预测一个变量的值例如，在下面的图片中，决策时通过if-then-else的决...

2018-08-29 11:44:56 1511

原创推荐系统（一）—综述

什么是推荐系统推荐系统是一种信息过滤系统，用于预测用户对物品的“评分”或者“偏好”。推荐系统近年来非常流行，应用于各行各业。推荐的对象包括：电影，音乐，新闻等等。从大量的信息当中寻找出用户感兴趣的，关注的推荐给客户。推荐系统的阐述推荐系统产生推荐列表的方式通常有两种：协同过滤以及基于内容推荐。协同过滤方法根据用户历史行为（根据其购买的，收藏的，评价的的物品）结合其他用户的相似决策...

2018-07-23 22:32:37 533

qq_16953611的博客