胖胖的博客

1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24、1、2、3、4、 5、6、重点！！！7、8、 9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24、25、26、27、28、29、30、31、32、33、34、35、36、37、1、2、3、4、5、6、7、8、9、10、1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、21、1、2、3、 4、

如果想自己采集指标做应用层面的监控，可以使用云监控提供的自定义监控功能。云监控中心是一个实时识别、分析、预警安全威胁的统一安全管理系统。云安全中心不支持解绑阿里云ECS服务器，即使卸载了Agent插件，该服务仍将以离线状态出现在服务器列表中，而不会从列表移除。Agent插件是云安全中心提供的本地安全插件，您必须在要防护的服务器上安装该插件才能使用云安全中心的服务。

云服务器ECS（Elastic Compute Service）是阿里云提供的性能卓越、稳定可靠、弹性扩展的IaaS（Infrastructure as a Service）级别云计算服务。云解析 DNS（Domain Name System，简称DNS） 是一种安全、快速、稳定、可靠的权威DNS解析管理服务。阿里云对象存储服务（Object Storage Service，简称 OSS），是阿里云提供的海量、安全、低成本、高可靠的云存储服务。一、IaaS、PaaS、SaaS。十、ACK（容器服务）

一个数据流在算子之间传输数据的形式可以是一对一(one to one)的直通(forwarding)模式，也可以是打乱的重分区(redistributing)模式，具体是哪一种形式，取决于算子的种类。比如图中的map和后面的keyBy/window算子之间，以及keyBy/window算子和sink算子之间，都是这样的关系。，这样原来的算子就成为了真正任务里的一部分，如下图所示。Flink默认会按照算子链的原则进行链接合并，如果我们想要禁止合并或者自行定义，也可以在代码中对算子做一些特定的设置。

它们的区别主要在于：集群的生命周期（创建和停止集群的时间）以及资源的分配方式（一个独享还是多人共享）；而这也就代表着，我们需要为每一个提交的应用单独启动一个JobManager，也就是创建一个集群。我们需要先启动一个集群，保持一个会话，在这个会话中通过客户端提交作业。集群启动时所有资源就都已经确定，所以所有提交的作业会竞争集群中的资源。在一些应用场景中，对于集群资源分配和占用的方式，可能会有特定的需求。会话模式和单作业模式下，应用的代码都是在客户端上执行的。作业完成后，集群就会关闭，所有资源也会释放。

【代码】[hive]生成日期维度表。

lateral view 表别名 as 序号列名,数组中的元素的名。

uc_cst_terminal_dt为MySQL对应的表名。t代表trade即MySQL的交易库(trade)的简写。注意： 这里决定了任务名，一般和结果表名一致。注：对任务名进行修改并不会影响任务的调度。df为日全量导入（di为日增量导入）前缀imp是import的缩写。1）新建一张表（开发环境）2、点击右上角的运维中心。3）修改原任务中的表即可。ods即导入到ods层。3、配置调度 设置依赖。3、查找任务、补数据。1、在mysql建表。2）将改表变成生产表。2）下线（我没用上）6、在生产环境补数据。

2、在服务器登录时指定u为default在这里要指定为admin。之后在maven的package里找到这俩jar包，加到里头。直接在pom.xml加上那个lz4也是必要的不然会报错。1、要写ip而不是主机名。

直接kill掉ck1上的nodemanager进程，这样任务可以直接在ck2和ck3上运行。第1个1000指的是要运行1000次map任务。第2个数字指的是每个map任务，要投掷多少次。一、运行一下算圆周率的测试代码，看下报错。发现ck1节点上的所有任务都无法运行。三、无法解决异常，但是需要运行任务。

设置了hive metastore高可用，但未启动zookeeper!无语了 ，刚好前一天服务器掉电了，还以为是yarn坏了。

直接在hive表中去掉有默认值的了列，在sqoop导入时,指定非默认值列即可，

用开窗函数即可where rn=1。

需求：我有一张表dws.dws_news_aggre这表有21列，我想这个21列全展示出来，并且仅展示10000条。并对其中的19列做一个查询框，方便查询。/home/data_warehouse/module/tomcat_bak/webapps/webroot/WEB-INF/reportlets目录下。解压，把里头的jar全放进去（这个适用Hive2版本的包，对于Hive3也是好用的）字符串需要拼接单引号(我的这些字段全是字符串类型的),数值类型的则不需要。编辑为文本框，选中扳手，再选择第一个空的。

【代码】[hive]hive不允许分区字段为中文或特殊字段。

我们装上openssl那几个 也能编译。注：如果有高版本的则需要先卸载。

把里头的jar包单拿出来，放到 /home/data_warehouse/module/tomcat/webapps/webroot/WEB-INF/lib 目录下。

（2）删除Sqoop安装目录的lib目录中的commons-lang3-3.4.jar，并添加commons-lang-2.6.jar(在$HADOOP_HOME/share/hadoop/yarn/timelineservice/lib/commons-lang-2.6.jar下可以找到)需在sqoop-1.4.7-bin_hadoop2.6.0/lib下添加 hive-*.jar、datanucleus-*.jar、derby-10.14.1.0.jar、javax.jdo-3.2.0-m3.jar。

没用里头的hive on spark,测试后发现版本冲突。