其他乱七八糟
文章平均质量分 50
其他乱七八糟
黄瓜炖啤酒鸭
黄瓜炖啤酒鸭 欢迎分享,欢迎交流,有不懂的可以加微信交流,拒绝红包等利益交流,不懂就问。
展开
-
海豚调度器(dolphinscheduler)再次使用,添加钉钉预警
1,首先我们部署是海豚调度器 1.3.8版本,由于页面只有邮件预警,所以在了解源码的同时,需要添加钉钉预警2,说明,这一块是同事搞的,不是我搞的,新版本的dolphinscheduler已经有了钉钉模块,只是新版本还没有发布3,我们现在只是添加简单的钉钉预警,任务成功或者失败会发送邮件+钉钉4,具体操作找到最新的源码devhttps://github1s.com/apache/dolphinscheduler/blob/dev/dolphinscheduler-alert/src/ma...原创 2021-09-29 13:59:38 · 2666 阅读 · 0 评论 -
笔记备份
1,打包编译mvn clean install -Drat.skip=true -Pscala-2.11 -DskipTests -s ~/Downloads/apache-maven-3.6.3/conf/settings.xml -Dcheckstyle.skip=true -Dscala-2.11 -Dcheckstyle.skip=true -Dspotless.check.skip=true编译打包命令:mvn clean install -Drat.skip=true -Pscal...原创 2021-05-17 10:38:29 · 190 阅读 · 0 评论 -
转载,kylin的安装文档
1. 前提hadoop版本:2.2-2.6hbase:0.98hive:1.0.1zookeeper:3.4.5kylin:1.1.12. 上传3. 解压tar –zxvf xxxx.tar.gz4. 重命名mv xxxx xxxx5. 修改环境变量配置tomcat和kylinexport CATALINA_HOME=/home/hadoop/kylin/tomcatexpor...转载 2018-06-21 12:42:57 · 624 阅读 · 0 评论 -
大数据的一些基本命令汇总
一,集群启动命令CDH 启动:/opt/cm-5.1.3/etc/init.d/cloudera-scm-server start/opt/cm-5.1.3/etc/init.d/cloudera-scm-agent startCDH 关闭:/opt/cm-5.1.3/etc/init.d/cloudera-scm-server stop/opt/cm-5.1.3/etc/in...原创 2018-06-21 12:55:14 · 393 阅读 · 0 评论 -
Flink开发遇到的问题汇总-
1,提交的离线任务完成之后,在一段时间后web端没有显示或者说自动消失:原因分析:https://blog.csdn.net/u013076044/article/details/104740792是需要开启historyserver2,Flink读取hdfs的(hive分区)文件,目前已知有三种方式:通过循环union方式,本地可以执行,集群提交报错 通过官方API,可是只支持csv文件格式,可以读取hdfs上的文件:...原创 2020-07-02 16:52:22 · 2352 阅读 · 0 评论 -
Flink 项目案例实操01
项目详情:https://yq.aliyun.com/articles/691495基于实时计算,您可以轻松完成实时欺诈检测系统。 实时欺诈检测系统能够及时发现用户高危行为并采取措施,降低损失。1,系统架构:实时欺诈检测(风控)系统流程如下:用户的行为经由App上报或Web日志记录下来,发送到一个消息队列里去。 实时计算订阅消息队列,过滤出感兴趣的行为,比如:购买、领券、浏览...原创 2019-07-03 22:19:27 · 847 阅读 · 0 评论 -
发个大图,需要啥技术对照入列
原创 2021-03-15 09:34:32 · 144 阅读 · 2 评论 -
大数据概念性的东西理解
1,MPP 大规模并行处理架构2,OLTP 和 OLAP 详解OLTP 是事件驱动面向应用的系统,简单理解就是有事务的数据库 mysqlOLAP 是基于数据仓库的,跨部门,面向主题的,简单理解就是分布式数据仓库 hbase hive clickHouse目前包含两者 特性的是 greenplum3,...原创 2019-06-19 17:14:37 · 183 阅读 · 0 评论 -
转载英语单词
. category [ˈkætəgəri]n.类型,部门,种类,类别,类目;[逻,哲]范畴;体重等级2. Expertabbr.Expanded Pert (program evaluation and reviewtechnique) 性能评价审查技术3. verbose [vəˈbəʊs]adj.冗长的,啰唆的,累赘的adv.冗长地,啰唆地,累赘地4. demo...转载 2019-06-19 17:03:56 · 1217 阅读 · 0 评论 -
一,近期的规划
1,大数据项目看完。2,ES ,Azkaban,Mongdb,redis ,ELK淘宝视频。3,CDH要搭建一个。4,HDP要搭建一个。5,python还是要弄一下基础的。原创 2018-06-21 12:34:34 · 270 阅读 · 0 评论 -
CDH集群下,Flink+hive+iceberg+zeppelin实践—01
实操记录版本:Flink 1.11.2iceberg最新版本zeppelinhive是基于cdh 6.3.2版本下的hive 2.1注意,iceberg只支持2.x以上,官网说的。一,保证Flink on zeppelin查询hive没问题 1)Zeppelin flink 参数配置:Flink sql 读写hive1)Jar包放入Flink lib下: flink-connector-hive_2.11-1.11.2.jar hive...原创 2021-04-22 18:03:05 · 2096 阅读 · 3 评论 -
CDH可能会遇到的面试题--持续更新中
一,怎么修改配置文件?为啥在集群中修改了没有效果? 答:切记不要在集群修改,在web端修改,不懂的话请百度参数或者参考CHD官网解释二,CDH 怎么修改IP和主机名?(转载)一、修改集群 ip 1、首先在安装cloudera-manager的主机上(集群主节点),停止所有的cloudera管理进程 service cloudera-scm-agent stop ...转载 2018-06-21 12:52:18 · 1980 阅读 · 0 评论 -
规则引擎Drools --- 思考怎么结合flink使用
一、前言前一段时间接触到了风控系统,因为风控的业务是负责多变的,所以在其中过程中,业务也不断的提出新的需求,比如:☞规则优惠提供面向不同客户细分维度、时间属性、业务种类进行群体性的优惠条件设定,根据优惠条件设定各自的优惠定价标准。§ 支持多种优惠条件的定义(附例子)o 员工标志 - 我是点融员工,P2P撮合手续全免了o 年龄段 -营销活动,30-40岁之前的同学不收撮合手...原创 2019-10-11 10:00:48 · 1457 阅读 · 0 评论 -
欢迎使用Alink(你可以理解为对标spark ML),阿里开源的Flink机器学习
地址:https://zhuanlan.zhihu.com/p/97020481github地址:https://github.com/alibaba/Alink原创 2019-12-13 14:42:26 · 1152 阅读 · 0 评论 -
Druid实时大数据笔记03 --安装
1,安装包安装参考视频:https://www.bilibili.com/video/av73275178?p=11Web端口效果:原创 2019-12-24 17:59:29 · 193 阅读 · 0 评论 -
Druid实时大数据笔记02 -架构
一,Druid架构预览1)实时节点 (realtime node): 实时摄入实时数据,以及生成Segment数据文件。2) 历史节点(Historical node): 加载已生成好的数据文件,以供数据查询。3) 查询节点 (broker node) : 对外提供数据查询服务,并同时从实时节点与历史节点查询数据,合并后返回给调用方。4)协调节点(Coordinator n...原创 2019-12-24 17:21:59 · 188 阅读 · 0 评论 -
Druid实时大数据笔记01
以下内容都是来自:《Druid实时大数据分析原理与实践》1,做这个笔记不知道能不能坚持下去,主要是想看这本书,使用Druid做尝试了解探索一下实时数仓。2,最近没那么多时间研究,看一点十一点,有兴趣的同学可以留言以及联系我,我们一起讨论研究一下这个实时数仓怎么玩,也可以相互分享一下个人资料跟经验一, 入门之前先了解一下Druid的一些特点跟基础认知: 1,快速的,列式...原创 2019-12-24 12:02:23 · 252 阅读 · 0 评论 -
转载之spark 写入es
转载自https://www.icode9.com/content-4-107063.html本文主要介绍将case class类对象写入ElasticSearch:也就是获取数据然后使用case class封装数据,然后在case class中选取一个替换当做id,但是这个长度一定数据不能重复要唯一。生成id。准备工作初步:导入依赖:<dependency>...转载 2020-04-26 00:45:25 · 1222 阅读 · 0 评论