欢迎使用CSDN-markdown编辑器

最新推荐文章于 2023-10-01 18:09:41 发布
最新推荐文章于 2023-10-01 18:09:41 发布
阅读量264 收藏
点赞数
分类专栏： 大数据 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stay_forever/article/details/78486619
版权

k-means 聚类hadoop 平台

1.1 在参考了
《数据算法-hadoop 、spark 》 289 页；文章 Research on Parallel k-means Algorithm Design Based on Hadoop Platform 基于云计算平台Hadoop的并行k-means聚类算法设计研究；http://blog.csdn.net/kghwettwe/article/details/43917107 代码
大概了解了 k-means 的流程
1.2 在map 主要做的是计算各个数据点与聚类中心的距离并且找出与样本对应的最近中心。 计算新的聚类中心

浩海紫冰
关注
专栏目录
欢迎使用CSDN-markdown编辑器.md
09-24
2019最新csdn自带的介绍范文模板 如果写过一次博客，这个文档就找不到了（没有恢复到本模板的url） 就在这里备份一下 方便查阅
欢迎使用CSDN-markdown编辑器123
jackkke的博客
08-07 1019
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
欢迎使用CSDN-markdown编辑器-
tuzixini的博客
06-01 985
欢迎使用Markdown编辑器写博客 本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I...
欢迎 使用CSDN-markdown编辑器
Anonymo的博客
01-07 432
Markdown编辑器CSDN官方教程 是不是第一次用过CSDN的MarkDown编辑器之后就找不到官方的教程了，想写又不知道怎么写，别怕，我截屏了。
欢迎使用CSDN-markdown编辑器- 简书
Andy_ZJH的博客
03-26 952
欢迎使用CSDN-markdown编辑器 96 流水潺湲 关注 2017.03.09 10:41* 字数 876 阅读 965评论 0喜欢 0 —来自CSDN博客 欢迎使用Markdown编辑器写博客 本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 U...
欢迎使用CSDN-markdown编辑器(保存一下哈哈)
kikyou_csdn的博客
11-08 1630
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
----欢迎使用CSDN-markdown编辑器
稻草人的博客
08-17 1086
欢迎使用Markdown编辑器写博客 本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I...
如何使用CSDN-markdown编辑器
小谢游乐园
09-28 1039
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
欢迎使用CSDN-markdown编辑器.html
04-21
每个javascript对象都有一个原型对象，这个对象在不同的解释器下的实现不同。比如在firefox下，每个对象都有一个隐藏的__proto__属性，这个属性就是“原型对象”的引用。
spark ui 指南
liuxiaoer1的专栏
10-01 2842
注意看到stage 19-24 是 跳过了, 原因是spark shuffle 的数据会写到磁盘固化,当上游当上游stage(19-24)和之前执行过的stage 相同时,可以直接用之前的结果.正在运行中的任务有 thread dump ,跟踪task 的执行过程, 目前只能点开 driver 的节点, executor 节点 点击不开.每个状态的stage 数量 (active, pending, completed, skipped, failed)
spark SQL 任务参数调优1
liuxiaoer1的专栏
10-01 2653
要了解spark参数调优，首先需要清楚一部分背景资料Spark SQL的执行原理，方便理解各种参数对任务的具体影响。一条SQL语句生成执行引擎可识别的程序，解析（Parser）、优化（Optimizer）、执行（Execution） 三大过程。其中Spark SQL 解析和优化如下图Parser模块：未解析的逻辑计划，将SparkSql字符串解析为一个抽象语法树/AST。语法检查，不涉及表名字段。
倾斜join优化 Skewed Join
liuxiaoer1的专栏
06-23 1878
翻译：倾斜join优化设计 https://issues.apache.org/jira/browse/SPARK-29544 1.背景 数据倾斜是数据表在集群中分区之间分布不均匀导致的。数据倾斜会严重降低查询性能，特别实在join的场景下。在集群中，大表之间join需要shuffling并且数据倾斜会导致任务极端不平衡的运行。有三个主要的方法处理skew join： 1.增加任务的并行数，使用spark.sql.shuffle.partition参数，让数据分布均匀 2.使用广播hash j...
数据仓库笔试题-pdd
liuxiaoer1的专栏
10-20 1553
题目：商品活动表 goods_activity，字段id主键、goods_id 商品id,act_id 活动id,create_time 活动创建时间 、status 上线状态 2 上线 ，3 下线 问题一、每个活动的每个商品 的开始时间和结束时间？ 问题二、假设数据中有脏数据，同一个活动可能 两次上线，也可能两次结束，需要把活动上线重复的状态按照时间取第一条，结束上线状态重复的按时间取最后一条。 -- 第一题： -- id,goods_id,act_id,create_time -- asdf3..
spark sql 异常
liuxiaoer1的专栏
08-25 1299
1.spark SQL 测试过程中报如下错误org.apache.spark.sql.AnalysisException -- 20/08/25 11:42:08 INFO Client: resolveAppExceptionMsg, msg start 20/08/25 11:42:08 INFO Client: resolveAppExceptionMsg, msg:User class threw exception: org.apache.spark.sql.AnalysisExce...
大数据开发 之 留存类统计写法
liuxiaoer1的专栏
09-13 1147
问题：统计活跃用户的近7天、30天留存率？ 这个是数据仓库开发同学基本都会遇到的问题，属于留存类问题，实现方式也有很多种类，但是在大数据场景下的效率差距很大，因此整理自己写过四种输出留存的方式和对比下优劣。
hive 常用函数
liuxiaoer1的专栏
10-01 867
max(e.max_inc_rank) over(partition by e.mid) max_inc_rank_for_row -- 升序的最大值存放在每一行。,sum(1) over(partition by mid,num1 ) as acc_by_mid_num1 -- 每个mid重复进入播放计数。,if(d.max_num=d.num,d.in_out_time_rank,0) as max_inc_rank -- 升序的最大值。主要背景是想看下现在“共享账号”的用户量级有多少。
阿里笔试sql
liuxiaoer1的专栏
10-28 638
1.假定你当前有两张淘宝交易订单表order和sub_oder,存储于hive环境，其表结构信息如下，一个订单ID下可能多个子订单，一个子订单代表一个买家在一个卖家购买的一种商品，可能购买多件，整个支付金额是在主订单上。 create table order（ order_id bigint --订单ID ,sub_order_id bigint --子订单ID ,seller_id bigint --卖家ID ...
CSDN-markdown编辑器
最新发布
04-25
CSDN Markdown编辑器是一款由CSDN自主开发的在线Markdown编辑工具，它具有以下特点和功能： 1. 简洁易用：CSDN Markdown编辑器采用简洁的界面设计，用户可以轻松上手，无需学习复杂的操作。 2. 实时预览：编辑器支持实时预览功能，即在编辑Markdown文本的同时，可以即时看到渲染后的效果，方便用户进行调整和修改。 3. 语法高亮：编辑器支持Markdown语法高亮显示，可以根据语法规则将不同的元素以不同的颜色进行标记，提高代码的可读性。 4. 快捷操作：编辑器提供了一系列快捷操作，例如快速插入标题、列表、代码块等常用元素，加速编写过程。 5. 支持导出：编辑器支持将Markdown文本导出为HTML、PDF等格式，方便用户在不同场景下使用和分享。 6. 实时保存：编辑器支持实时保存功能，用户不必担心因为意外情况导致数据丢失。 7. 多平台支持：CSDN Markdown编辑器可以在多个平台上使用，包括网页版、移动端应用等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值