推荐系统
文章平均质量分 92
CharlesDavid_coder
这个作者很懒,什么都没留下…
展开
-
spark-core总结
spark-core总结spark 入门文章目录spark-core总结spark 入门1.1 spark概述1.2 spark的安装部署1.3 spark启动(local模式)和WordCount(演示)spark-core RDD常用算子练习3.1 RDD 常用操作3.2 RDD Transformation算子3.3 RDD Action算子3.4 Spark RDD两类算子执行示意spark-core 实战案例4.0 Pycharm编写spark代码环境配置4.1利用PyCharm编写spark原创 2020-12-31 23:01:19 · 223 阅读 · 0 评论 -
spark-streaming总结
sparkStreaming总结文章目录sparkStreaming总结1、sparkStreaming概述1.1 SparkStreaming是什么1.2 SparkStreaming的组件2、Spark Streaming编码实践3、Spark Streaming的状态操作3.1 updateStateByKey案例:updateStateByKey3.2 Windows1、sparkStreaming概述1.1 SparkStreaming是什么它是一个可扩展,高吞吐具有容错性的流式计算框原创 2020-12-31 22:55:13 · 449 阅读 · 0 评论 -
spark-sql总结
spark-sql总结文章目录spark-sql总结1、Spark SQL 概述2、DataFrame2.1 介绍2.2 创建DataFrame2.3 DataFrame API实现3、JSON数据的处理3.1 介绍3.2 实践静态json数据的读取和操作动态json数据的读取和操作4、数据清洗1、Spark SQL 概述Spark SQL概念Spark SQL is Apache Spark’s module for working with structured data.它是spark中原创 2020-12-31 22:53:07 · 336 阅读 · 0 评论 -
HBase总结
HBase总结文章目录HBase总结一 HBase简介与环境部署1.1 HBase简介&在Hadoop生态中的地位1.1.1 什么是HBase1.1.2 BigTable1.1.3 面向列的数据库1.1.4 什么是非结构化数据存储1.1.5 HBase在Hadoop生态中的地位1.1.6 HBase与HDFS1.1.7 HBase使用场景1.2 HBase数据存储模型&与关系型数据库的区别1.2.1 ACID定义1.2.2 CAP定理1.2.3 Hbase表结构1.2.4 HBase 与原创 2020-12-29 12:01:38 · 210 阅读 · 0 评论 -
Hive总结
Hive总结文章目录Hive总结一 Hive基本概念1 Hive简介1.1 什么是 Hive1.2 为什么使用 Hive2 Hive 架构2.1 Hive 架构图2.2 Hive 组件2.3 Hive 与 Hadoop 的关系3 Hive 与传统数据库对比4 Hive 数据模型5 Hive 安装部署二 Hive 基本操作2.1 Hive HQL操作初体验2.2 Hive的内部表和外部表2.3 分区表2.4 动态分区三 Hive 函数3.1 内置运算符3.2 内置函数3.3 Hive 自定义函数和 Tran原创 2020-12-29 11:52:17 · 271 阅读 · 0 评论 -
Hadoop总结
Hadoop总结文章目录Hadoop总结Hadoop概述Hadoop核心组件Hadoop优势分布式文件系统 HDFSHDFS架构HDFS设计思路HDFS环境搭建HDFS的使用HDFS shell操作HDFS shell操作练习资源调度框架 YARN什么是YARNYARN产生背景YARN的架构和执行流程YARN环境搭建分布式处理框架 MapReduce什么是MapReduceMapReduce编程模型Hadoop Streaming 实现wordcount (实验 了解)MapReduce实战利用MRJob原创 2020-12-29 00:06:53 · 693 阅读 · 0 评论 -
推荐算法总结
推荐算法文章目录推荐算法基于模型的协同过滤推荐Model-Based 协同过滤算法基于K最近邻的协同过滤推荐基于回归模型的协同过滤推荐Baseline:基准预测方法一:随机梯度下降法优化step 1:梯度下降法推导step 2:随机梯度下降step 3:算法实现Step 4: 准确性指标评估方法二:交替最小二乘法优化step 1: 交替最小二乘法推导step 2: 交替最小二乘法应用step 3: 算法实现Step 4: 准确性指标评估基于矩阵分解的CF算法矩阵分解发展史Traditional SVDFu原创 2020-12-28 10:51:53 · 1373 阅读 · 0 评论 -
推荐系统基础总结
推荐系统基础总结文章目录推荐系统基础总结推荐系统简介推荐系统产生背景什么是推荐系统推荐系统VS搜索引擎推荐系统的作用推荐系统的工作原理推荐系统和Web项目的区别推荐系统设计推荐系统要素推荐系统架构大数据Lambda架构推荐算法架构推荐算法推荐模型构建流程数据来源--Data(数据)特征工程--Features(特征)选择合适的算法--ML Algorithm(机器学习算法)产生推荐结果--Prediction Output(预测输出)最经典的推荐算法:协同过滤推荐算法(Collaborative Filt原创 2020-12-28 10:20:45 · 396 阅读 · 0 评论