MachineLearning小汇总----持续更新......

目标函数定义 : 1. GBDT(Gradient Boosting Decision Tree) Gradient Boosting是一种Boosting的方法 , 它的主要思想是每一次建立模型是在之前建立模型损失函数的梯度下降方向。损失函数式评价模型性能(一般为拟合程度+正则项) , 认为损...

2019-03-27 10:49:22

阅读数 31

评论数 0

推荐系统-Ctr点击率预估理论基础及项目实战

Ctr点击率预估理论基础及项目实战 1.机器学习推荐算法模型回顾 召回(粗排) 利用业务规则结合机器学习推荐算法得到初始推荐结果,得到部分商品召回集 ALS\UserCF\ItemCF\FP-Growth\规则等方式召回 排序(精排) 1期:根据不同推荐位通过不同的模型得到推荐结果 2期...

2019-03-25 09:21:54

阅读数 592

评论数 8

解决数据不平衡

解决数据不平衡问题方案 机器学习中不平衡数据集的工具箱 软件包:imbalanced-learn0.3.2 介绍文档:https://pypi.python.org/pypi/imbalanced-learn/ API文档:http://contrib.scikit-learn.org/i...

2019-03-13 09:28:04

阅读数 33

评论数 0

GBDT&XGBoost&LightGBM的区别

GBDT&XGBoost&LightGBM的区别 GBDT ​ 梯度提升树是在提升树的基础上发展而来的一种适用范围更广的方法 , 当处理回归问题时 , 提升树可以看作是梯度提升树的特例(分类问题时不时特例) . 因为提升树在构建树的每一步的过程中都是...

2019-03-13 09:02:33

阅读数 42

评论数 0

推荐系统-用户标签预测算法基础实践-决策树2

推荐系统-用户标签预测算法基础实践 1.泰坦尼克号获救人员识别实战 加强iris的代码实战(掌握) 代码版本一 : 未经过pca降温的X #1.进行数据的读入---导入数据 from sklearn.datasets import load_iris iris=load_iris() #2.对...

2019-03-04 14:36:13

阅读数 92

评论数 0

推荐系统-用户标签预测算法基础实践-决策树(一)

推荐系统-用户标签预测算法基础实践 1.用户画像概述 用户画像就是给到用户打标签 用户画像 用户角色 用户属性 用户画像和用户角色较为接近,而用户属性使用户的画像中的子集 用户画像阶段 1.用户画像基础 2.用户画像指标体系 3.标签数据存储方式 4.标签数据开发 5.性能优化及作业调度...

2019-02-21 15:55:34

阅读数 390

评论数 0

推荐系统-Python语言及数据科学库基础(三)

机器学习语言必备-数据科学必备库 1.Pandas介绍 Pandas的名称来自于panel data(面板数据)和Python数据分析(data analysis),Pandas是处理结构化数据的利器,利用python数据以及数据结构完成对结构化数据的处理和分析功能。 特点 1.一个强大的分析...

2019-02-15 20:51:29

阅读数 54

评论数 0

推荐系统-Python语言及数据科学库基础(二)

机器学习语言必备-Python语言入门(二) 1.函数详解 函数分为4中类型 根据参数和返回值进行判断 没有返回值没有参数 有参数没有返回值 没有返回值有参数 有参数有返回值的 全局变量和局部变量 global #函数有几种类...

2019-02-15 10:17:49

阅读数 38

评论数 0

推荐系统-Python语言及数据科学库基础(一)

机器学习语言必备-Python语言入门(一) Python基础+数据科学基础[Numpy/Pandas/Matplotlib/Scipy] 1.Python语言介绍& 为什么Python如此受欢迎? Python语言特点 Python:面向对象+解释...

2019-02-15 10:17:07

阅读数 51

评论数 0

推荐系统-关联规则理论基础与业务实践

推荐系统-关联挖掘算法实战 1.基于知识的推荐方法简介 基于知识区别于以往基于协同过滤算法,基于知识的推荐更多的是交互式问答的环节,分为基于约束的部分,第二是基于实例的部分,使用基于关联规则方法全是基于知识的推荐。 2.关联规则算法引入 啤酒与尿布的故事 关联规则-------寻找关联购买商...

2019-01-27 10:23:20

阅读数 200

评论数 0

推荐系统-基于模型协同过滤理论基础与业务实

推荐系统-基于模型协同过滤理论基础与业务实践 1.SparkMllib库框架详解 Spark机器学习库 五个组件 ML Algratham算法 : 分类 , 聚类 , 降维 , 协同过滤 Pipelines管道 ---- Featurization 特征化---- 特征抽取...

2019-01-27 10:19:20

阅读数 381

评论数 0

推荐系统-经典协同过滤算法【基于记忆的协同过滤算法、基于模型的协同过滤算法】

推荐系统-经典协同过滤理论基础实践 1.协同过滤推荐方法CF简介 协同过滤CF 基于记忆的协同过滤 ---- 用户和物品的相似度矩阵 用户相似度的推荐 物品相似度推荐 UserCF用户协同过滤算法 ItemCF物品的协同过滤推荐算法 基于模型的协同过滤 ---- 隐因子 LFM(lat...

2019-01-15 22:31:27

阅读数 1819

评论数 0

推荐系统-机器学习理论基础详解01

推荐系统-机器学习理论基础详解 1.大数据时代究竟改变了什么?(了解) 改变的是思维方式 1.数据重要性: 数据资源--------数据资产(增值) 2.方法论: 基于知识的理论完美主义-------基于数据的历史经验主义 翻译:你好吗? 基于知识翻译:----借助语言学家 你 yo...

2019-01-15 18:09:52

阅读数 53

评论数 0

storm_入门02学习笔记----【storm原理、storm整个hdfs和mysql、storm定时器使用、日志监控告警项目的流程和业务处理逻辑】

storm_入门02学习笔记 1、目标 1、掌握storm任务提交和执行过程 2、掌握storm整合hdfs和mysql 3、掌握storm定时器使用 4、掌握日志监控告警项目的流程和业务处理逻辑 2、storm内部原理和任务提交 (1)客户端提交topology到nimbus主节点 (2...

2018-12-14 21:23:32

阅读数 83

评论数 0

storm_入门01学习笔记----【storm集群搭建、一键脚本启动关闭storm、storm与kafka整合】

storm_day01学习笔记 1、目标 1、熟悉storm的相关概念 2、掌握搭建一个storm集群 3、掌握编写简单的storm应用程序 4、掌握storm的并行度设置 5、掌握storm的数据分发策略 6、掌握storm与kafka整合 2、storm概述 2.1 storm是什么 st...

2018-12-12 22:02:26

阅读数 144

评论数 0

Hbase入门----【hbase内部原理和架构(★★★★★)、掌握hbase的寻址机制(★★★★★)、hbase表中的rowkey设计(★★★★★★★)】

hbase入门学习笔记 1、目标 1、掌握hbase相关概念 2、掌握搭建一个hbase集群 3、掌握hbase shell 命令行操作 4、掌握hbase内部原理和架构(★★★★★) 5、掌握hbase的寻址机制(★★★★★) 6、掌握hbase表中的rowkey设计(★★★★...

2018-12-09 21:44:05

阅读数 445

评论数 0

大数据实时阶段----【Spark04之sparkStreaming整合flume、sparkStreaming整合kafka (★★★★★)】

typora-copy-images-to: img_spark04 typora-root-url: img_spark04 spark_入门04学习笔记 1、目标 1、掌握sparkStreaming原理和架构 2、掌握DStream常用的操作 3、掌握sparkStrea...

2018-12-07 16:40:07

阅读数 97

评论数 0

kafka入门

kafka入门学习笔记 1、目标 1、掌握kafka相关概念 2、掌握搭建一个kafka集群 3、掌握kafka生产者和消费者代码开发 4、掌握kafka的分区策略 5、掌握kafka整合flume 6、掌握kafka如何保证消息不丢失 2、kafka概述 2.1 kafka是什么 kafka...

2018-12-06 22:48:13

阅读数 376

评论数 0

kafka_Manager监控工具的安装与作用

kafka Manager监控工具的安装与使用 第一步:上传kafkaManager的压缩包 将我们kafkaManager的压缩包上传到我们kafka集群的任意一台机器即可 第二步:修改kafkaManager的配置文件 vim application.conf 更改一配置文件 ...

2018-12-05 23:09:02

阅读数 39

评论数 0

kafka的文件存储机制

kafka的文件存储机制 1、概述 同一个topic下有多个不同的partition,每个partition为一个目录,partition命名的规则是topic的名称加上一个序号,序号从0开始。 每一个partition目录下的文件被平均切割成大小相等(默认一个文件是1G,可以手动去设置)...

2018-12-05 23:02:42

阅读数 30

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭