NIeson2012的专栏

排序：
默认
按更新时间
按访问量
RSS订阅

转 OCR 技术浅析

随着人工智能的热度上升，图像识别这一分领域也渐渐被人们所关注。图像识别中最贴近我们生活的可能就是 OCR 技术了。可能很多同学还不知道什么是 OCR。我们先来看下 OCR 的定义： OCR （Optical Character Recognition，光学字符识别）是指电子设备（例如扫描仪或数...

2019-03-15 10:19:45

阅读数 118

评论数 0

原 Hive函数大全

一、关系运算： 1.等值比较: = 语法：A=B 操作类型：所有基本类型 描述:如果表达式A与表达式B相等，则为TRUE；否则为FALSE 举例： hive>select 1 from lxw_dual where 1=1; 2.不等值比较: &a...

2018-11-02 11:01:56

阅读数 108

评论数 0

原 Hive中分组取前几名及行列转换的方法

row_number()、rank()和dense_rank()这三个是hive内置的分析函数，这三个函数可以用于分组取前几名，下面我们来看看他们的区别和具体的使用案例。 首先创建一个文件test： A,1 B,3 C,2 D,3 E,4 F,5 G,6 然后创建hive表： create ...

2018-11-01 19:16:10

阅读数 219

评论数 0

转 Python数据分析学习路径图

本文摘自同行说用户“风一样的男子”，原文链接：http://www.yidianzixun.com/n/0CAz84ve?s=1&appid=yidian，如涉及版权问题请及时联系小编！ Python是一种面向对象、直译式计算机程序设计语言，由Guido van Ross...

2018-10-12 15:21:07

阅读数 130

评论数 0

转 利用Python学习数据挖掘【0】

相信看到这篇文章的你一定是对数据分析，数据挖掘有兴趣，或者想从事和方面。本文不再累述python对数据分析的重要，数据分析这门的由来之类的。 在这里，我单刀直入，已我学习数据挖掘3年来的经历告诉大家怎么去学，以让大家少走弯路。纯个人见解，如有不对，还请各位留言指教。 话不多说，直接放图。 ...

2018-10-12 14:50:56

阅读数 117

评论数 0

转 利用Python学习数据挖掘【2】

本文结合代码实例待你上手python数据挖掘和机器学习技术。   本文包含了五个知识点： 1. 数据挖掘与机器学习技术简介   2. Python数据预处理实战   3. 常见分类算法介绍   4. 对鸢尾花进行分类案例实战   5. 分类算法的选择思路与技巧   一、数据挖...

2018-10-12 14:44:43

阅读数 151

评论数 0

转 利用 Python学习数据挖掘【1】

覆盖使用Python进行数据挖掘查找和描述数据结构模式的实践工具。 第一节 介绍 数据挖掘是一个隐式提取以前未知的潜在有用的数据信息提取方式。它使用广泛，并且是众多应用的技术基础。 本文介绍那些使用Python数据挖掘实践用于发现和描述结构模式数据的工具。近些年来，Python在开发以数据...

2018-10-12 14:42:30

阅读数 76

评论数 0

转 京东预测系统核心介绍

1. 京东预测系统 1.1 预测系统介绍 预测系统在整个供应链体系中处在最底层并且起到一个支撑的作用，支持上层的多个决策优化系统，而这些决策优化系统利用精准的预测数据结合运筹学技术得出最优的决策，并将结果提供给更上层的业务执行系统或是业务方直接使用。 目前，预测系统主要支持三大业务：销量...

2018-08-23 16:11:50

阅读数 964

评论数 0

原 【Sqoop】Sqoop如何增量抽取数据

  实现方法： 利用--where参数对关系型数据库数据进行筛选，将结果导入非关系型数据库。根据特殊字段，将日期作为一个查询条件对源数据进行匹配，将符合条件的记录作为结果采集到非关系型数据库中 格式： import --connect jdbcurl --username xxxx--pa...

2018-08-16 18:47:25

阅读数 791

评论数 0

原 【Sqoop】从MySQL同步数据到Hive的操作参数解析

参数解析： 必选参数 --connect :连接的mysql数据库的jdbc信息 --username:mysql数据库的登录账户 --password:mysql数据库的登录密码 --table: 关系数据库表名  --hive-import: 从关系型数据库向hive中导入数据的标...

2018-08-16 18:45:13

阅读数 937

评论数 0

转 【CDH】部署Cloudera Management for centos 7

hadoop生态圈框架工具甚多，自己整合起来很是繁琐，特别是oozie以及hue结合来实现hive、mr、spark等定时依赖任务更是一步一个坑，为了减少踩坑，只好从apache hadoop，转向CDH。 两个各有利弊，CDH贵在整合方便。本次教程大部分来自http://www.cnblogs...

2018-07-26 11:24:13

阅读数 169

评论数 0

转 【CDH】通过hue提交oozie定时任务

Oozie是什么？ Oozie是一种Java Web应用程序，它运行在Java servlet容器——即Tomcat——中，并使用数据库来存储以下内容： 工作流定义 当前运行的工作流实例，包括实例的状态和变量 Hue是什么？  Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个...

2018-07-26 11:21:42

阅读数 293

评论数 0

转 【CDH】CDH大数据平台实施经验总结

1. 平台规划注意事项 1.1 业务数据全部存储在datanode上面，所以datanode的存储空间必须足够大，且每个datanode的存储空间尽量保持一致。 1.2 管理节点/namenode对存储空间要求不高，主要存储各计算节点datanode的元数据信息，以3个datanode为例，每...

2018-05-30 16:26:36

阅读数 547

评论数 0

原 Hive中Sqoop的基本用法和常见问题

一、通过Sqoop将Hive表数据导入到Mysql1、第一种是将hive上某张表的全部数据导入到mysql对应的表中。2、第二种是将hive上某张表中的部分数据导入到mysql对应的表中。两种方式的区别在于第二种情况需要指定要导入数据的列名称。两种情况的导入方式分别如下：1.全部导入Sqoop e...

2018-05-25 17:42:05

阅读数 377

评论数 0

原 Hive的基本用法

一、创建表hive建表的时候默认的分割符是'\001'，若在建表的时候没有指明分隔符，load文件的时候文件的分隔符需要是'\001'；若文件分隔符不是'001'，程序不会报错，但表查询的结果会全部为'null'；1、建表的时候指定分隔符：create table pokes(foo int,ba...

2018-05-24 11:44:30

阅读数 425

评论数 0

原 【推荐系统系列6】ALS推荐算法原理

ALS算法原理ALS算法是2008年以来，用的比较多的协同过滤算法。它已经集成到Spark的Mllib库中，使用起来比较方便。从协同过滤的分类来说，ALS算法属于User-Item CF，也叫做混合CF。它同时考虑了User和Item两个方面。用户和商品的关系，可以抽象为如下的三元组：&a...

2018-04-11 16:39:39

阅读数 6217

评论数 1

原 【推荐系统系列5】协同过滤算法的基本思想

在现今的推荐技术和算法中，最被大家广泛认可和采用的就是基于协同过滤的推荐方法。本文将带你深入了解协同过滤的秘密。下面直接进入正题1 什么是协同过滤协同过滤是利用集体智慧的一个典型方法。要理解什么是协同过滤 (Collaborative Filtering, 简称 CF)，首先想一个简单的问题，如果...

2018-04-11 15:46:21

阅读数 386

评论数 0

原 经济管理学中常用的模型分析法

经济管理学中常用的模型分析法常用的分析模型有：波特五力模型、波士顿矩阵、鱼骨分析法、5W1H分析法、麦肯锡7S模型、杜邦分析法、营销漏斗模型、可行性分析、绩效分析；SMART原则、SWOT分析、PEST分析法、GROW模型、3C理论、顾客细分、事故树分析法。比较系统的模型分类有：第一篇：战略与组织...

2018-03-28 09:24:04

阅读数 5753

评论数 0

原 【推荐系统系列4】协同过滤算法的理论与实现

一：协同过滤算法简介    关于协同过滤的一个最经典的例子就是看电影，有时候不知道哪一部电影是我们喜欢的或者评分比较高的，那么通常的做法就是问问周围的朋友，看看最近有什么好的电影推荐。在问的时候，都习惯于问跟自己口味差不 多的朋友，这就是协同过滤的核心思想。    协同过滤是在海量数据中挖掘出小部...

2018-03-24 09:01:08

阅读数 470

评论数 0

原 【推荐系统系列3】推荐系统中如何解决冷启动

0、前言推荐系统需要根据用户的历史行为和兴趣来预测用户未来的行为和兴趣，因此大量的用户行为数据就称为了推荐系统的重要组成部门和先决条件。但是，很多个性化推荐系统的网站从开始就没有这些用户行为数据，所以如何在没有大量用户行为数据的情况下进行个性化推荐并且让用户对推荐的结果感到满意，这就是冷启动问题。...

2018-03-21 14:02:15

阅读数 223

评论数 0

提示
确定要删除当前文章？
取消 删除