2019年05月_SunWuKong_Hadoop

原创跟我一起学【Spark】之——Spark调优与调试

第8章Spark调优与调试1.总结Spark的配置机制2.理解Spark应用性能表现的基础知识、设置相关配置项、编写高性能应用设计模式3.探讨Spark的用户界面、执行的组成部分、日志机制8.1使用SparkConf配置Spark1.SparkConf实例包含用户要重载的配置选项的键值对。Spark中的每个配置选项都是基于字符串形式的键值对。调用set()方法来添加配...

2019-05-23 17:31:30 380

原创 CQL开发

需求：对Storm进行CQL二次开发CQL，持续查询语言，用于数据流上的查询语言。相对于标准SQL，CQL加入了窗口的概念，使得数据可以一直保存在内存中，由此可以快速进行大量内存计算特点：使用简单语法与标准SQL类似功能丰富包含标准SQL的各类基本表达式，特别针对流处理场景增加了窗口、窗口前过滤、窗口后过滤、并发度设置等功能，满足多种实时业务处理场景。...

2019-05-24 17:44:59 357

原创跟我一起学【Hadoop】之——Kerberos原理

步骤原理说明：1.应用程序在提交任务或者作业前，需要向Kerberos服务申请TGT，用于建立和Kerberos服务器的安全会话。2.Kerberos服务在收到TGT请求后，会解析其中的参数来生成对应的TGT，使用客户端指定的用户名的秘钥进行加密响应信息。3.应用客户端收到TGT响应信息后，解析获取TGT，此时，再由应用客户端应用客户端向Kerberos服务获取应用服务端的ST。4...

2019-05-24 16:31:45 357

转载跟我一起学Oozie之——客户端常用命令

1.提交作业，作业进入PREP状态oozie job -oozie http://localhost:11000/oozie -config job.properties -submit job: 14-20090525161321-oozie-joe2.执行已提交的作业oozie job -oozie http://localhost:11000/oozie -start 1...

2019-05-17 11:09:16 338

转载跟我一起学Oozie之——入门

Oozie概要：Oozie是用于 Hadoop 平台的开源的工作流调度引擎。　　是用来管理Hadoop作业。　　是属于web应用程序，由Oozie client和Oozie Server两个组件构成。Oozie Server运行于Java Servlet容器（Tomcat）中的web程序。Oozie的工作流必须是一个有向无环图，实际上Oozie就相当于Hadoop的一个客户端...

2019-05-17 11:04:12 301

原创跟我一起学Spark之——在集群上运行Spark

7.2运行时架构7.2.5小结在集群上运行Spark应用的详细过程：1.用户通过spark-submit脚本提交应用。2.spark-submit脚本启动驱动器程序，调用用户定义的main()方法。3.驱动器程序与集群管理器通信，申请资源以启动执行器节点。4.集群管理器为驱动器程序启动执行器节点。5.驱动器进程执行用户应用中的操作。根据程序中所定义的对RDD的转化操作和...

2019-05-13 17:05:48 399

原创跟我一起学【PostgreSQL】之—— 一行变多行

实际业务需求：实例表1：（user_id为用户id，prod为产品id）需要的效果：（求出共有产品id）方法：拼接字符串：string_agg(字符串，分隔符)select b.* from (select a.user_id,string_agg(a.prod,',...

2019-05-09 15:12:43 1480

SunWuKong_Hadoop的博客