数据求学家-CSDN博客

最近由于部门业务调整，开始负责产品相关工作了，于是开始刷书！第一本入门产品的书就是《人人都是产品经理》。《人人都是产品经理》这本书于2009年左右出版，面向的主要是-1~3岁的产品经理工作者。作者在当时的阿里巴巴担任过3年的产品经理，主要从自身实际的工作经历出发来谈与产品相关的需求、项目、团队和战略这四块内容。其中前三块我认为讲的很实在很中肯，作者用三年的工作经验给我们呈现了一个脉络清晰、覆盖面广的产品经理的主要职责、会遇到的问

2022-05-21 19:26:41 1081 4

原创淘宝用户分析（步骤详细，数据分析项目）

本文首发自我的牛客博客，是一个值得放在校招上完整的数据分析项目，SQL代码及分析步骤都较为详尽一、分析背景和目的二、分析框架和思路2.1 用户维度2.2 产品维度2.3用户行为维度2.4用户价值维度（RFM）三、分析正文3.1 提出问题3.2 理解数据3.3.2 时间格式的处理3.3.3 选择所需数据集3.4 构建模型3.4.1用户购物情况整体分析3.4.2用户活跃周期3.4.3用户对商品有哪些购买偏好3.4.4用户行为间的转化情况

2022-05-09 11:15:24 6309

原创 SparkSQL项目实战练习——各区域热门商品TOP3

目录一、环境要求二、数据准备三、需求说明四、代码实现一、环境要求IDEA中SPARK可以连接虚拟机外置HIVE可参考（IDEA中Spark连接外置hive详细步骤）Spark3.0.0；Hadoop3.2.1; HIVE3.1.2二、数据准备1 张用户行为表，1 张城市表，1 张产品表用户行为表user_visit_action：主要包含用户的 4 种行为：搜索，点击，下单，支付。数据规则如下：➢ 数据文件中每行数据采用下划线分隔数据➢ 每.

2022-05-04 19:00:52 2186 1

原创 IDEA中Spark连接外置hive详细步骤

环境要求：虚拟机上hadoop集群hdfs开启虚拟机配置hive，且hive配置metastore到mysql windows中配置hadoop环境，且IDEA中sparksql内部可运行虚拟机防火墙关闭网上很多帖子的操作步骤过于繁琐，现总结如下：1.向pom.xml中导入maven依赖（mysql驱动、hive依赖，spark-on-hive依赖） <dependency> <groupId>mysql</g..

2022-05-04 10:56:26 5437 3

原创 SPARK 数据结构（累加器+广播变量）详解

SPARK数据结构——累加器及广播变量

2022-02-27 21:03:10 1095

原创 SPARK RDD分区器

RDD分区器，支持Range/Hash/自定义

2022-02-27 19:37:18 141

原创 SPARK RDD序列化

RDD序列化、闭包检测、和Kyro序列化框架详解

2022-02-24 22:41:26 1010

原创 Spark RDD算子详解

RDD转换算子及行动算子详细记录，附idea实操演练转换算子（Transformation）：功能的补充和封装，将旧的RDD包装成新的RDD（flatMap,map...)行动算子（Action）：触发任务的调度和作业的执行(collect)

2022-02-07 21:21:44 3712 3

原创【阿里云天池龙珠计划SQL训练营】SQL复习Task6综合练习题

本笔记为阿里云天池龙珠计划SQL训练营的学习内容，链接为：https://tianchi.aliyun.com/specials/promotion/aicampsql；目录Task06：综合练习题-10道经典题目下载相关创建表格和插入数据脚本练习题1练习题2练习题3练习题4练习题5练习题6练习题7练习题8练习题9练习题10Task06：综合练习题-10道经典题目下载相关创建表格和插入数据脚本创建数据表脚本：http://tianchi-med

2021-08-29 20:27:28 496 2

原创【阿里云天池龙珠计划SQL训练营】SQL复习Task5

本笔记为阿里云天池龙珠计划SQL训练营的学习内容，链接为：https://tianchi.aliyun.com/specials/promotion/aicampsql；目录Task05：窗口函数等--天池龙珠计划SQL训练营一、窗口函数窗口函数概念及基本的使用方法二、窗口函数种类专用窗口函数（面试常考3种排序的区别）聚合函数在窗口函数上的使用窗口函数的的应用 - 计算移动平均（类似窗口的移动）窗口函数适用范围和注意事项三、GROUPING运算符四、练习题

2021-08-29 19:24:00 461

原创【阿里云天池龙珠计划SQL训练营】SQL复习Task4

本笔记为阿里云天池龙珠计划SQL训练营的学习内容，链接为：https://tianchi.aliyun.com/specials/promotion/aicampsql；目录Task04：集合运算-表的加减法和join等一、表的加减法表的加法–UNIONEXCEPT、INTERSECT对称差二、连结(JOIN)内连结(INNER JOIN)自连结(SELF JOIN)自然连结(NATURAL JOIN)外连接（OUTER JOIN)结合 WHERE 子句.

2021-08-29 18:25:28 537

原创【阿里云天池龙珠计划SQL训练营】SQL复习Task3

本笔记为阿里云天池龙珠计划SQL训练营的学习内容，链接为：https://tianchi.aliyun.com/specials/promotion/aicampsql；目录Task03：复杂查询方法-视图、子查询、函数等一、视图二、子查询标量子查询关联子查询三、实用函数算数函数字符串函数日期函数转换函数四、谓词LIKE谓词 – 用于字符串的部分一致查询BETWEEN谓词 – 用于范围查询IS NULL、 IS NOT NULL – 用于判断是否.

2021-08-28 20:36:23 793

原创【阿里云天池龙珠计划SQL训练营】SQL复习Task2

本笔记为阿里云天池龙珠计划SQL训练营的学习内容，链接为：https://tianchi.aliyun.com/specials/promotion/aicampsql；目录Task02：SQL基础查询与排序一、SELECT语句基础基本SELECT语句SQL常见比较运算符常用法则逻辑运算符（NOT/AND/OR）二、对表进行聚合查询聚合函数常用法则三、对表进行分组GROUP BY函数为聚合结果指定条件（HAVING）四、对查询结果进行排序五、练习题

2021-08-24 23:31:19 273

原创【阿里云天池龙珠计划SQL训练营】SQL复习Task1

本笔记为阿里云天池龙珠计划SQL训练营的学习内容，链接为：https://tianchi.aliyun.com/specials/promotion/aicampsql；由于本人在大学本科阶段自学的方式潦草而不系统，没有形成属于自己的结构化知识框架。因此，秉着温故而知新、查漏补缺的想法，决定开启sql->python->机器学习->深度学习为大致方向的学习计划。面试时现场编码以及做题时一般以sqlite为主，日常工作中主要涉及的是Hive sql 和Mysql数据库。三者之间语法上

2021-08-22 21:10:27 418

weixin_36040866的博客

原创 SQL进阶使用教程 Part Ⅱ（join，sql优化，窗口函数）

原创 SQL进阶使用教程 Part Ⅰ

原创 Kafka学习笔记（2）——Kafka Broker及消费者

原创汽车领域多语种迁移学习挑战赛（Coggle 30 Days of ML）

原创 Kafka学习笔记（1）——Kafka概述及生产者

原创糖尿病遗传风险检测挑战赛（Coggle 30 Days of ML）

原创《人人都是产品经理》读书分享（附读书笔记+思维导图)