自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(73)
  • 资源 (1)
  • 收藏
  • 关注

原创 MachineLearning小汇总----持续更新......

目标函数定义 : 1. GBDT(Gradient Boosting Decision Tree)Gradient Boosting是一种Boosting的方法 , 它的主要思想是每一次建立模型是在之前建立模型损失函数的梯度下降方向。损失函数式评价模型性能(一般为拟合程度+正则项) , 认为损失函数越小 , 性能越好 。而让损失函数持续下降 , 就能使得模型不断提升性能 , 其最好的方法就是使...

2019-03-27 10:49:22 330

原创 推荐系统-Ctr点击率预估理论基础及项目实战

Ctr点击率预估理论基础及项目实战1.机器学习推荐算法模型回顾召回(粗排)利用业务规则结合机器学习推荐算法得到初始推荐结果,得到部分商品召回集ALS\UserCF\ItemCF\FP-Growth\规则等方式召回排序(精排)1期:根据不同推荐位通过不同的模型得到推荐结果2期:将推荐的所有结果通过Ctr或Cvr预估结果进行排序GBDT\LR\GBDT+LR\FM()\FFM...

2019-03-25 09:21:54 4748 16

原创 解决数据不平衡

解决数据不平衡问题方案机器学习中不平衡数据集的工具箱软件包:imbalanced-learn0.3.2介绍文档:https://pypi.python.org/pypi/imbalanced-learn/API文档:http://contrib.scikit-learn.org/imbalanced-learn/stable/详细API:http://contrib.scikit-lea...

2019-03-13 09:28:04 1603

原创 GBDT&XGBoost&LightGBM的区别

GBDT&XGBoost&LightGBM的区别GBDT​ 梯度提升树是在提升树的基础上发展而来的一种适用范围更广的方法 , 当处理回归问题时 , 提升树可以看作是梯度提升树的特例(分类问题时不时特例) . 因为提升树在构建树的每一步的过程中都是去拟合上一步获得模型在训练集上的残差 . 这个残差正好是损失函数的梯度 , 对应于GBDT每一步要拟合的对象 .主要思想​ 在...

2019-03-13 09:02:33 244

原创 推荐系统-用户标签预测算法基础实践-决策树2

推荐系统-用户标签预测算法基础实践1.泰坦尼克号获救人员识别实战加强iris的代码实战(掌握)代码版本一 : 未经过pca降温的X#1.进行数据的读入---导入数据from sklearn.datasets import load_irisiris=load_iris()#2.对数据进行简单的统计分析和图形化的展示print(iris.keys())#['data', 'tar...

2019-03-04 14:36:13 317

原创 推荐系统-用户标签预测算法基础实践-决策树(一)

推荐系统-用户标签预测算法基础实践1.用户画像概述用户画像就是给到用户打标签用户画像用户角色用户属性用户画像和用户角色较为接近,而用户属性使用户的画像中的子集用户画像阶段1.用户画像基础2.用户画像指标体系3.标签数据存储方式4.标签数据开发5.性能优化及作业调度6.用户画像应用及优化用户画像基础场景用搜索领域个性化推荐领域其他领域个人征信数...

2019-02-21 15:55:34 3539

原创 推荐系统-Python语言及数据科学库基础(三)

机器学习语言必备-数据科学必备库1.Pandas介绍Pandas的名称来自于panel data(面板数据)和Python数据分析(data analysis),Pandas是处理结构化数据的利器,利用python数据以及数据结构完成对结构化数据的处理和分析功能。特点1.一个强大的分析和操作大型**结构化数据集**所需的工具集2.基础是NumPy,提供了高性能矩阵的运算3.提供了大...

2019-02-15 20:51:29 160

原创 推荐系统-Python语言及数据科学库基础(二)

机器学习语言必备-Python语言入门(二)1.函数详解函数分为4中类型根据参数和返回值进行判断没有返回值没有参数有参数没有返回值没有返回值有参数有参数有返回值的全局变量和局部变量global#函数有几种类型:#1.函数的返回值#2.函数的参数#无返回值无参数def repeatString(): print("helloWorld\...

2019-02-15 10:17:49 127

原创 推荐系统-Python语言及数据科学库基础(一)

机器学习语言必备-Python语言入门(一)Python基础+数据科学基础[Numpy/Pandas/Matplotlib/Scipy]1.Python语言介绍& 为什么Python如此受欢迎?Python语言特点Python:面向对象+解释型Python解析器:4种CpythonJpythonIronPythonPyPyPython版本Python2.x...

2019-02-15 10:17:07 165

原创 推荐系统-关联规则理论基础与业务实践

推荐系统-关联挖掘算法实战1.基于知识的推荐方法简介基于知识区别于以往基于协同过滤算法,基于知识的推荐更多的是交互式问答的环节,分为基于约束的部分,第二是基于实例的部分,使用基于关联规则方法全是基于知识的推荐。2.关联规则算法引入啤酒与尿布的故事关联规则-------寻找关联购买商品的关系**关联分析,**用于发现隐藏在大型数据集中有意义的联系。购物篮分析----一次购买分析-...

2019-01-27 10:23:20 527

原创 推荐系统-基于模型协同过滤理论基础与业务实

推荐系统-基于模型协同过滤理论基础与业务实践1.SparkMllib库框架详解Spark机器学习库五个组件ML Algratham算法 : 分类 , 聚类 , 降维 , 协同过滤Pipelines管道 ----Featurization 特征化---- 特征抽取 , 特征转换 , 特征降维 , 特征选择Persistence 持久化---- 模型的保存 , 读取 , 管道操作...

2019-01-27 10:19:20 939

原创 推荐系统-经典协同过滤算法【基于记忆的协同过滤算法、基于模型的协同过滤算法】

推荐系统-经典协同过滤理论基础实践1.协同过滤推荐方法CF简介协同过滤CF基于记忆的协同过滤 ---- 用户和物品的相似度矩阵用户相似度的推荐物品相似度推荐UserCF用户协同过滤算法ItemCF物品的协同过滤推荐算法基于模型的协同过滤 ---- 隐因子LFM(latent fator machine)隐藏因子的分解模型-----矩阵分解(将一个矩阵分解成连个矩阵的乘...

2019-01-15 22:31:27 5488

原创 推荐系统-机器学习理论基础详解01

推荐系统-机器学习理论基础详解1.大数据时代究竟改变了什么?(了解)改变的是思维方式1.数据重要性:数据资源--------数据资产(增值)2.方法论:基于知识的理论完美主义-------基于数据的历史经验主义翻译:你好吗?基于知识翻译:----借助语言学家你 you your好 good best等吗 do does等Are you good?Are y...

2019-01-15 18:09:52 253

原创 storm_入门02学习笔记----【storm原理、storm整个hdfs和mysql、storm定时器使用、日志监控告警项目的流程和业务处理逻辑】

storm_入门02学习笔记1、目标1、掌握storm任务提交和执行过程2、掌握storm整合hdfs和mysql3、掌握storm定时器使用4、掌握日志监控告警项目的流程和业务处理逻辑2、storm内部原理和任务提交(1)客户端提交topology到nimbus主节点(2)nimbus主节点接受到客户端的任务信息,然后保存到本地目录,后期把任务的分配信息写入到zk集群中...

2018-12-14 21:23:32 314

原创 storm_入门01学习笔记----【storm集群搭建、一键脚本启动关闭storm、storm与kafka整合】

storm_day01学习笔记1、目标1、熟悉storm的相关概念2、掌握搭建一个storm集群3、掌握编写简单的storm应用程序4、掌握storm的并行度设置5、掌握storm的数据分发策略6、掌握storm与kafka整合2、storm概述2.1 storm是什么storm是由twitter公司开源,捐献apache基金会,是一个实时处理框架。storm特点:来一条...

2018-12-12 22:02:26 1381

原创 Hbase入门----【hbase内部原理和架构(★★★★★)、掌握hbase的寻址机制(★★★★★)、hbase表中的rowkey设计(★★★★★★★)】

hbase入门学习笔记1、目标1、掌握hbase相关概念2、掌握搭建一个hbase集群3、掌握hbase shell 命令行操作4、掌握hbase内部原理和架构(★★★★★)5、掌握hbase的寻址机制(★★★★★)6、掌握hbase表中的rowkey设计(★★★★★★★)2、hbase概述2.1 hbase是什么​ hbase是基于hdfs进行数据的分布式存储,具有高可...

2018-12-09 21:44:05 623

原创 大数据实时阶段----【Spark04之sparkStreaming整合flume、sparkStreaming整合kafka (★★★★★)】

typora-copy-images-to: img_spark04typora-root-url: img_spark04spark_入门04学习笔记1、目标1、掌握sparkStreaming原理和架构2、掌握DStream常用的操作3、掌握sparkStreaming整合flume4、掌握sparkStreaming整合kafka (★★★★★)2、sparkStrea...

2018-12-07 16:40:07 275

原创 kafka入门

kafka入门学习笔记1、目标1、掌握kafka相关概念2、掌握搭建一个kafka集群3、掌握kafka生产者和消费者代码开发4、掌握kafka的分区策略5、掌握kafka整合flume6、掌握kafka如何保证消息不丢失2、kafka概述2.1 kafka是什么kafka是由linkedin开源,捐献apache基金会,它是一个实时的分布式消息队列。它提供了一个对于实时...

2018-12-06 22:48:13 532

原创 kafka_Manager监控工具的安装与作用

kafka Manager监控工具的安装与使用第一步:上传kafkaManager的压缩包将我们kafkaManager的压缩包上传到我们kafka集群的任意一台机器即可第二步:修改kafkaManager的配置文件vim application.conf更改一配置文件 kafka-manager.zkhosts,修改为我们的zookeeper的地址即可kafka-manager....

2018-12-05 23:09:02 1078

原创 kafka的文件存储机制

kafka的文件存储机制1、概述同一个topic下有多个不同的partition,每个partition为一个目录,partition命名的规则是topic的名称加上一个序号,序号从0开始。每一个partition目录下的文件被平均切割成大小相等(默认一个文件是1G,可以手动去设置)的数据文件,每一个数据文件都被称为一个段(segment file),但每个段消息数量不一定相等,这种...

2018-12-05 23:02:42 895

原创 kafka为什么那么快

Kafka为什么那么快Broker​ 不同于Redis和MemcacheQ等内存消息队列,Kafka的设计是把所有的Message都要写入速度低容量大的硬盘,以此来换取更强的存储能力。实际上,Kafka使用硬盘并没有带来过多的性能损失,“规规矩矩”的抄了一条“近道”。​ 首先,说“规规矩矩”是因为Kafka在磁盘上只做Sequence I/O,由于消息系统读写的特殊性,这并不存在什么问题。关...

2018-12-05 22:58:22 168

原创 Spark----【spark on yarn】

Spark on Yarn1. 官方文档http://spark.apache.org/docs/latest/running-on-yarn.html2. 配置安装1.安装hadoop:需要安装HDFS模块和YARN模块,HDFS必须安装,spark运行时要把jar包存放到HDFS上。2.安装Spark:解压Spark安装程序到一台服务器上,修改spark-env.sh配置文件,spa...

2018-12-04 23:15:40 111

原创 大数据实时阶段----【Spark03之dataFrame、dataSet、schema】

spark_入门03学习笔记1、目标1、掌握sparksql底层原理2、掌握DataFrame和DataSet数据结构和使用方式3、掌握通过sparksql来进行代码开发2、sparksql概述2.1 sparksql前世今生shark它是专门为spark设计的大规模数据仓库系统shark依赖于hive的代码,同时也依赖spark版本后期发现hive的mapre...

2018-12-04 17:46:24 411

原创 大数据实时阶段----【Spark02之ip地址查询、topN、PV、UV实战】

spark02_学习笔记1、目标1、掌握RDD的底层原理2、掌握RDD的常用的算子操作3、掌握RDD的宽窄依赖4、掌握RDD的缓存机制5、掌握划分stage6、掌握spark任务运行架构和调度流程2、RDD概述2.1 什么是RDDRDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区...

2018-12-03 21:39:53 612

原创 sparkRDD函数详解

1. RDD操作详解启动spark-shellspark-shell --master spark://node-1:70771.1 基本转换1) map​ map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。举例:scala> val a = sc.parallelize(1 to 9, 3)...

2018-12-02 22:56:17 162

原创 大数据实时阶段----【Spark01】

spark_01学习笔记1、目标1、掌握spark相关概念2、掌握搭建一个spark集群3、掌握编写简单的spark应用程序2、spark概述2.1 什么是sparkApache Spark™ is a unified analytics engine for large-scale data processing.apache的spark是一个针对于大规模...

2018-12-01 16:50:32 442

原创 scala编程实战----【使用Akka实现两个进行间的通信、简易版spark框架】

目标 : 使用 Akka 实现一个简易版的 spark 通信框架项目概述1. 需求​ 目前大多数的分布式架构底层通信都是通过 RPC 实现的,RPC 框架非常多,比如前我们学过的 Hadoop 项目的 RPC 通信框架,但是 Hadoop 在设计之初就是为了运行长达数小时的批量而设计的,在某些极端的情况下,任务提交的延迟很高,所以 Hadoop 的 RPC 显得有些笨重。​ Spark ...

2018-11-29 22:44:35 381 2

原创 Scala高级特性

Scala高级特性1. 高阶函数Scala 混合了面向对象和函数式的特性,我们通常将可以作为参数传递到方法中的表达式叫做函数。高阶函数包含:作为值的函数、匿名函数、闭包、柯里化等等。1.1 作为值的函数​ 可以像任何其他数据类型一样被传递和操作的函数,每当你想要给算法传入具体动作时这个特性就会变得非常有用。即函数作为值传递到方法中定义函数式格式 : val 变量名=(输入参数类型和个数...

2018-11-29 22:38:41 116

原创 Scala实战案例---单词计数

Scala Actor并发编程[注] :Scala Actor是scala 2.10.x版本及以前版本的Actor。Scala在2.11.x版本中将Akka加入其中,作为其默认的Actor,老版本的Actor已经废弃。1 . 什么是Scala ActorScala中的Actor能够实现并行编程的强大功能,它是基于事件模型的并发机制,Scala是运用消息的发送、接收来实现高并发的。2. Ja...

2018-11-28 19:06:14 339

原创 Scala入门(下)----【类、对象、继承、特质(trait)、模式匹配、样式类、Option类型、偏函数、协变、逆变、非变、上下界】

1. 类、对象、继承、特质1.1 类类的定义/*** 在Scala中,类并不用声明为public类型的。* Scala源文件中可以包含多个类,所有这些类都具有共有可见性。*/class Person { //用val修饰的变量是可读属性,有getter但没有setter(相当与Java中用final修饰的变量) val id="9527" //用var修饰的变量都既...

2018-11-28 14:55:41 187

原创 大数据----【Scala入门(上)】

Scala1. Scala概述1.1 什么是scala​ Scala是一种多范式的编程语言 , 其设计的初衷是要集成面向对象编程和函数式编程的各种特性 . Scala运行于Java平台(Java虚拟机) , 并兼容现有的Java程序 . 详情查看官网http://www.scala-lang.org1.2 为什么要学Scala优雅速度快 : 表达能力强 ,一行代码抵得上Java多行...

2018-11-27 21:13:10 550

原创 MapReduce&Yarn增强

1. MapReduce并行度机制详解maptask并行度机制 : 逻辑规划 (逻辑切片)时间 : 客户端提交mr程序之前 main(客户端) , job.submit()地点 : 客户端参与者 : 待处理数据目录 FileInputFormat.getSplits()规则 : 对待处理目录下逐个遍历文件 , 以切片大小对文件进行逻辑规划​ split size == bl...

2018-11-25 22:49:55 82

原创 网站日志流量系统----【结果输出模块】

模块开发----结果导出1. Apache SqoopSqoop 是Hadoop 和关系数据库服务器之间传送数据的一种工具 .Sqoop:“SQL 到 Hadoop 和 Hadoop 到 SQL导入导出是站在Apache的角度来说的Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。在翻译出的 mapreduce 中主要是对 inputformat 和 outpu...

2018-11-25 17:52:06 202

原创 网站日志流量系统----【统计分析模块】

模块开发----统计分析每一种统计指标都可以跟各维度表进行钻取。分组条件判别技巧如果需求中出现 每xxx 各xxx 按xxx , 很大可能就是分组的字段条件设置智能本地模式 : set hive.exec.mode.local.auto=true;1. 流量分析1.1 多维度统计pv总量需求 : 计算该处理批次(一天)中各小时pvs处理数据所在的表 : ods_we...

2018-11-24 21:45:24 1695

原创 网站流量日志系统----【ETL模块 、数据表创建、数据导入、宽表等模块】

1. 模块开发----数据仓库设计1.1 维度建模基本概念维度建模是专门用于分析型数据库、数据仓库、数据集市建模的方法 .专门适用于OLAP的设计模式存在着两种类型的表:事实表 维度表维度表(dimension) : 看问题分析问题的角度 信息精但是不全 可跟事实表关系事实表:主题的客观度量 能够以记录主题为准 信息多不精准事实表的设计是以能够正确记录历史信息为准则,维...

2018-11-22 18:04:15 977

原创 网站日志流量系统----【数据采集模块、数据预处理模块】

1. 模块开发----数据采集1.1 需求在网站 web 流量日志分析这种场景中,对数据采集部分的可靠性、容错能力要求通常不会非常严苛,因此使用通用的 flume 日志采集框架完全可以满足需求。1. 2 Flume 日志采集系统1.2.1 Flume 采集Flume 采集系统的搭建相对简单:1、在服务器上部署 agent 节点,修改配置文件2、启动 agent 节点,将采集到的数据汇...

2018-11-22 17:59:27 1693 1

原创 SQL增强

SQL增强需求 : 统计今天每个小时分别有多个pv分组字段 : 天 小时 天恰好就是分区字段 通过分区字段即可过滤出 真正的分子字段就一个 hour编写sql的思路 :首先明确开始关键字 , 如select其次我们先跳过需要查询的东西 , 去关注查询的来源 , 即from , 若后面接的是一个真实存在的表 , 则直接写 , 若不是真实存在的 , 也是通过另外方式...

2018-11-22 17:53:22 411

原创 大数据----【azkaban的部署及实战测试】

工作流程调度器1. 工作流程调度系统产生背景一个完整的数据分析系统通常都是由大量任务单元组成 :​ shell脚本程序 , java程序 , MapReduce程序 , hive脚本等各个任务单元之间存在时间先后依赖关系为了更好地组织起这样的复杂执行计划 , 需要一个工作流程调度系统来调度执行2. 工作流程调度实现方式简单的任务调度 :​ 直接使用linux的crontab来定义 ...

2018-11-22 17:51:49 563

原创 网站流量日志系统知识详解----【点击流事件详解】

网站流量日志数据分析系统知识详解1. 点击流数据模型1.1 点击流概念点击流(Click Stream)是指用户在网站上持续访问的轨迹。可以通过对网站日志的分析可以获得用户的点击流数据。1.2 点击流模型生成点击流数据在具体操作上是由散点状的点击日志数据梳理所得。点击数据在数据建模时存在两张模型表 Pageviews和 visits,例如:原始访问日志表时间戳IPURL...

2018-11-21 23:18:28 1780 1

原创 Hive----【DML操作 、对数据表的查操作】

Hive–DML操作1. Load加载操作时间数据文件移动到与Hive表对应的位置的出复制/移动操作.语法结构 :load data [local] inpath 'filepath' [overwrite] into table tablename [partition (partcol1=val1, partcol2=val2 ...)]**说明 : **filepath :...

2018-11-20 23:24:06 143

连接虚拟机常用的工具CRT软件包

该软件是连接虚拟机的一款较为好用的软件 , 他可以多窗口开启,也可以实现批处理,个人觉得非常好用

2018-11-10

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除