- 博客(12)
- 收藏
- 关注
RSS订阅原创 Flink实时计算斗鱼某直播间弹幕发言数TopN
先获取斗鱼直播间弹幕，由kafka发送至flink消费，每隔10min输出最近1H内发言数量前10的用户名。
2022-11-07 21:44:57
602
1
原创 centos7下CDH安装spark2 parcel下载
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel下载链接：https://pan.baidu.com/s/1ILyESsTLEjaNdOLp88dBsg提取码：wxtn
2021-09-22 12:16:21
585
6
原创 CM5.16.2和CDH5.16.2下载（centos7）
cm RPM安装包CDH parcel包CM下载链接：https://pan.baidu.com/s/1CqJtrxOF0QtH5JUkRSPkQw提取码：p8tsCDH下载链接：https://pan.baidu.com/s/1zPX03hgKVgA1h4E89oSs1w提取码：g94w
2021-09-22 12:04:56
867
1
原创 spark2-submit：yarn cluster模式参数配置
考虑CDH集群运行，约占5%-10%，每台预留3核心以及4G内存。集群规模：3台48核64g群集中核心的可用总数： （48-3） x 3 = 135每个executor分配3核心，–executor-cores 135/3 = 45 （总可用核数 / 每个节点核心数）–num-executors 45/3 = 15（executors核数 / 每个节点核心数）–executor-memory 60/15 = 4g （内存总剩余 / 每个节点ex
2020-12-16 16:26:28
424
原创 Flink学习之窗口函数
Flink学习之窗口函数window function定义了要对窗口中收集的数据做一个计算操作，主要可以分为两类：增量聚合函数（Incremental aggregate function）：窗口不维护原始数据，只维护中间结果，每次基于中间结果合增量数据进行聚合。每条数据到来就计算，保持一个简单的状态。本文主要介绍AggregateFunction。全窗口函数（Full window function）窗口需要维护全部原始数据，窗口触发时进行全量聚合。先把窗口的
2020-12-01 11:10:38
403
原创 为什么RDD不能作为广播变量传递
今天在使用spark的广播变量时将rdd作为了广播变量广播出去，但是本地模式下没有报错，运行结果也正确，但是在yarn cluster下运行却一直报Nullpoint空指针错误，经查发现rdd不能作为广播变量的形式进行广播，但是本地模式为什么不报错呢，于是我对rdd有了进一步的研究。首先rdd是什么呢，弹性式分布数据集。我的第一反应就是这个词。这个词包含了几个关键字：1.弹性2.分布3....
2020-04-22 13:06:03
662
原创 使用npm命令一些错误原因
前端发过来一个项目需要用npm进行安装，然后用命令时遇到了一些错误：使用npm命令得先安装nodejs官网：https://nodejs.org/en/以下是使用命令遇到的一些错误。1.这个是因为没有安装git，在官网上下载了git之后配置了环境变量就好了2.npm ERR! cb()never called!这个错误只需要清除npm缓存，使用命令：npm cache clean -...
2020-01-09 11:13:11
2254
原创 如何快速找到需要的jar包
有时候我们在开发时需要一个特殊的jar包，但是网上找不到或者需要收费，比如说我昨天需要用到flume-ng-sql-source-1.4.3.jar这个jar包。但是网上都是要靠积分去下载的，那么怎么办呢？我们可以使用Apache Maven编译我们需要的jar包。第一部：先去GitHub上去搜索flume-ng-sql-source，然后找到相应版本的源文件下载下来。第二部：找到需要的版...
2020-01-06 11:15:58
2120
1
原创 安装cdh时遇见的一些错误总结
1.JAVA_HOME的设置。因为我的java是直接解压到目录的，所以安装cdh时没有检测到，需要手动指定java目录，要不然会报JAVA_HOME UNSET这个错误。需要手动指定每台机器上的java目录：点击主机选择所有主机一次点击如下所有主机选择配置，并在搜索框输入java，然后手动指定自己的java目录就可以了。2.对当前 NameNode 的名称目录进行格式化。如果名称目录...
2019-11-21 13:53:16
1647
原创 openstreetmap-server-ubuntu-16-04+GraphHopper搭建离线地图服务器和离线路径规划
openstreetmap-server-ubuntu-16-04+GraphHopper搭建离线地图服务器和离线路径规划一．升级系统二．安装PostgreSQL数据库和PostGIS扩展三．下载地图样式表和上传地图数据四．将地图数据导入PostgresSQL五．安装mapnik mod_tile六．添加中文支持七．生成Mapnik Stylesheet八．配置渲染文件九．配置Apache服务器十...
2019-11-11 14:08:56
3711
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人