- 博客(15)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 数据湖之基于flink+hudi+hive的实践（一）
文章目录1、介绍2、环境准备与部署3、遇到过的坑1、介绍hudi最新的0.9版本经过众人千呼万唤，终于在9月份出来了。hudi可以兼容在hadoop基础之上存储海量数据，不仅可以进行批处理，还可以在数据湖上进行流处理，即离线与实时结合。并且同时提供了2种原生语义：1）Update/Delete记录：即通过hudi可以更新和删除表中记录，同时还提供写操作的事务保证。2）Change Streams：可以从某个时间点获取给定表中已updated/inserted/deleted的所有记录的增量流。
2021-09-27 21:24:02
3848
原创 Flink任务提交流程（Standalone和Yarn）
文章目录1、任务提交流程（Standalone)2、任务提交流程（Yarn)1、任务提交流程（Standalone)1）App程序通过rest接口提交给Dispatcher。2）Dispatcher把JobManager进程启动，把应用交给JobManager。3）JobManager拿到应用后，向ResourceManager申请资源（slots），ResouceManager会启动对...
2019-10-23 10:24:25
2874
原创 基于Spark实现电影点评系统用户行为分析—DataFrame篇（二）
文章目录1、介绍2、业务统计3、代码实现1、介绍Spark SQL有三种不同实现方式：（1）使用DataFrame与RDD结合的方式。（2）纯粹使用DataFrame的方式。（3）使用DataSet的方式。本文仅介绍第二种方式，其他方式可以参考源码（底部）。DataFrameAPI是从Spark1.3开始就有的，它是一种以RDD为基础的分布式无类型数据集，类似于传统数据库中的二维表格。Da...
2019-05-08 10:43:32
1328
1
原创 基于Spark实现电影点评系统用户行为分析—RDD篇（一）
文章目录1、项目背景2、数据描述3、代码实现1、项目背景电影推荐系统（MovieLens）是美国明尼苏达大学（Minnesota）计算机科学与工程学院的GroupLens项目组创办的，是一个非商业性质的、以研究为目的的实验性站点。电影推荐系统注要使用协同过滤和关联规则相结合的技术，向用户推荐他们感兴趣的电影。本项目的数据集来源：https://grouplens.org/datasets/mo...
2019-04-25 09:54:37
3481
原创 基于Flume+Kafka+HBase+Mapreduce的电信客服项目（下）
文章目录1、数据消费阶段2、数据分析阶段1、数据消费阶段2、数据分析阶段
2019-04-15 21:15:38
637
翻译 英文名著
名著之所以是名著，是因为它无论经历怎样的风霜打磨依然散发思想的艺术的魅力。《双城记》It was the best of times, it was the worst of times, it was the age of wisdom, it was the age of foolishness, it was the epoch of belief, it was the epoch o...
2019-04-11 20:57:19
632
原创 《热爱生命》---汪国真
我不去想是否能够成功既然选择了远方便只顾风雨兼程我不去想能否赢得爱情既然钟情于玫瑰就勇敢地吐露真诚我不去想身后会不会袭来寒风冷雨既然目标是地平线留给世界的只能是背影我不去想未来是平坦还是泥泞只要热爱生命一切，都在意料之中...
2019-04-11 20:55:06
200
翻译 《如果》 ---Rudyard Kipling
如果在众人六神无主之时，你能镇定自若而不人云亦云；如果在被人猜忌怀疑之时，你能自信如常而不枉加辩论；如果你有梦想，又能不迷失自我；如果你有神思，又不至于走火入魔；如果在成功之时能不忘形于色，而在灾难之后也勇于咀嚼苦果；如果你辛苦劳作，已是功成名就，为了新目标你依旧冒险一搏，哪怕功名成乌有；如果你跟村夫交谈而不变谦恭之态，和王侯散步而不露谄媚之颜；如果他人的爱情左右不了你；如果你与任何人...
2019-04-11 20:36:02
666
原创 《感谢》---汪国真
让我怎样感谢你当我走向你的时候我原想收获一缕春风你却给了我整个春天让我怎样感谢你当我走向你的时候我原想棒起一簇浪花你却给了我整个海洋让我怎样感谢你当我走向你的时候我原想撷取一枚红叶你却给了我整个枫林让我怎样感谢你当我走向你的时候我原想亲吻一朵雪花你却给了我银色的世界—汪国真...
2019-04-11 20:30:10
413
1
原创 基于Spark统计购物网站标签
文章目录1、项目描述2、数据描述3、实现1、项目描述目前，越来越多的商家驻扎于购物网站中，每天都有大量的用户在不同的商家购物，然后进行评价，如图1，图2，图3所示。评论越多，说明该商品越火热，商家知名度也越高。因此，统计海量用户对不用商品的评论，然后进行分析。商家根据分析结果做出调整，这可以影响大众的消费趋势和消费心理。 2、数据描述评价标签生成有很多方法：...
2019-03-17 16:23:44
478
原创 VMware发生不可恢复错误：（vmui）
环境CentOS 6.4这个问题，网上有很多解决方法，我都一一试过了，可是没有用，也许是出错的原因不一样吧。每次进入虚拟机界面，运行一下就提示这个错误，注意是虚拟机出错，并没导致linux挂掉，只是linux进不去ui界面而已，其实在右下角仍然可以看到图标显示：虚拟机正在运行。恢复linux默认编码，虚拟机又恢复正常，但是这样一来，就不能编辑中文了。不过后来又找到一种方法，进入/e...
2017-08-11 16:32:16
5674
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人