centos7下CDH安装spark2 parcel下载 SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel下载链接：https://pan.baidu.com/s/1ILyESsTLEjaNdOLp88dBsg提取码：wxtn
CM5.16.2和CDH5.16.2下载（centos7） cm RPM安装包CDH parcel包CM下载链接：https://pan.baidu.com/s/1CqJtrxOF0QtH5JUkRSPkQw提取码：p8tsCDH下载链接：https://pan.baidu.com/s/1zPX03hgKVgA1h4E89oSs1w提取码：g94w
spark2-submit：yarn cluster模式参数配置 考虑CDH集群运行，约占5%-10%，每台预留3核心以及4G内存。集群规模：3台48核64g群集中核心的可用总数： （48-3） x 3 = 135每个executor分配3核心，–executor-cores 135/3 = 45 （总可用核数 / 每个节点核心数）–num-executors 45/3 = 15（executors核数 / 每个节点核心数）–executor-memory 60/15 = 4g （内存总剩余 / 每个节点ex
Flink学习之窗口函数 Flink学习之窗口函数window function定义了要对窗口中收集的数据做一个计算操作，主要可以分为两类：增量聚合函数（Incremental aggregate function）：窗口不维护原始数据，只维护中间结果，每次基于中间结果合增量数据进行聚合。每条数据到来就计算，保持一个简单的状态。本文主要介绍AggregateFunction。全窗口函数（Full window function）窗口需要维护全部原始数据，窗口触发时进行全量聚合。先把窗口的
为什么RDD不能作为广播变量传递 今天在使用spark的广播变量时将rdd作为了广播变量广播出去，但是本地模式下没有报错，运行结果也正确，但是在yarn cluster下运行却一直报Nullpoint空指针错误，经查发现rdd不能作为广播变量的形式进行广播，但是本地模式为什么不报错呢，于是我对rdd有了进一步的研究。首先rdd是什么呢，弹性式分布数据集。我的第一反应就是这个词。这个词包含了几个关键字：1.弹性2.分布3....
使用npm命令一些错误原因 前端发过来一个项目需要用npm进行安装，然后用命令时遇到了一些错误：使用npm命令得先安装nodejs官网：https://nodejs.org/en/以下是使用命令遇到的一些错误。1.这个是因为没有安装git，在官网上下载了git之后配置了环境变量就好了2.npm ERR! cb()never called!这个错误只需要清除npm缓存，使用命令：npm cache clean -...
如何快速找到需要的jar包 有时候我们在开发时需要一个特殊的jar包，但是网上找不到或者需要收费，比如说我昨天需要用到flume-ng-sql-source-1.4.3.jar这个jar包。但是网上都是要靠积分去下载的，那么怎么办呢？我们可以使用Apache Maven编译我们需要的jar包。第一部：先去GitHub上去搜索flume-ng-sql-source，然后找到相应版本的源文件下载下来。第二部：找到需要的版...
安装cdh时遇见的一些错误总结 1.JAVA_HOME的设置。因为我的java是直接解压到目录的，所以安装cdh时没有检测到，需要手动指定java目录，要不然会报JAVA_HOME UNSET这个错误。需要手动指定每台机器上的java目录：点击主机选择所有主机一次点击如下所有主机选择配置，并在搜索框输入java，然后手动指定自己的java目录就可以了。2.对当前 NameNode 的名称目录进行格式化。如果名称目录...
openstreetmap-server-ubuntu-16-04+GraphHopper搭建离线地图服务器和离线路径规划 openstreetmap-server-ubuntu-16-04+GraphHopper搭建离线地图服务器和离线路径规划一．升级系统二．安装PostgreSQL数据库和PostGIS扩展三．下载地图样式表和上传地图数据四．将地图数据导入PostgresSQL五．安装mapnik mod_tile六．添加中文支持七．生成Mapnik Stylesheet八．配置渲染文件九．配置Apache服务器十...
关注
