mrye的博客

原创 qlik rest 数据源分页读取sap odata v4数据

【代码】qlik rest 数据源分页读取sap odata v4数据。

原创 数仓拉链表

LEFT JOIN +UNION ALL的写法主要思路就是：变更的历史数据闭链，新增(包含变更)的还有没匹配到的数据开链。

原创 美团团购优惠券核销验券API

【150字摘要】针对美团开放平台高门槛问题，我们提供极简API接入方案：已投入15万获得官方服务商资质，支持快速对接美团到综业务（含团购核销）。优势包括：1）免去二级等保等复杂资质要求；2）2000+客户验证的成熟方案；3）最快当天上线。接入流程仅需6步：从申请应用到门店授权，最后实现查券验券功能。现开放给所有开发者，助力突破美团对接壁垒。详情可查阅文档或咨询客服。（注：实际字数149字）

原创 JAVA http请求报错：unable to find valid certification path to requested target

JAVA http请求报错：unable to find valid certification path to requested target

原创 美团/大众点评团购核销优惠券API

由于之前对接的原北极星开放平台，因平台升级调整而下架，没有完成迁移的即将被停用。导致新签客户无法对接美团到综相关业务（核心是团购核销验券），然而美团开放平台对服务商要求很高，平台强制要求二级等保和安全产品这种高要求直接过滤掉大部分开发者，看到这里的你刚好需要，不如看看我们的API方案。已成功对接全国2000+本地生活店铺。

原创 美团团购核销验券API

美团技术平台最新通知！！！由于之前对接的原北极星开放平台，因平台升级调整而下架，没有完成迁移的即将被停用。导致新签客户无法对接美团到综相关业务（），然而美团开放平台对服务商要求很高，，看到这里的你刚好需要，不如看看我们的API方案说明创建应用分配的appId创建应用分配的appSecret获取到的凭证凭证有效时间，单位：秒。

原创 Spark导出数据文件到HDFS

test/maktval res2 =spark.sql(s"""

原创 JAVA连接SAP读取内表

Eclipse创建 ABAP Project。SAPConnUtils 工具类。

原创 Linux服务器磁盘清理

原创 超低成本接入美团核销验券

美团技术平台最新通知！！！由于之前对接的原北极星开放平台，因平台升级调整而下架，没有完成迁移的即将被停用。导致新签客户无法对接美团到综相关业务（），然而美团开放平台对服务商要求很高，，看到这里的你刚好需要，不如看看我们的API方案说明创建应用分配的appId创建应用分配的appSecret获取到的凭证凭证有效时间，单位：秒。

原创 Hive Orc表数据导出和导入

【代码】Hive Orc表数据导出和导入。

原创 PostgreSQL用sql查询表结构和定义

pg_type t。

原创 spark 设置hive.exec.max.dynamic.partition不生效

spark脚本和程序中设置ive.exec.max.dynamic.partition不生效。

原创 大数据学习整理资料

3，Hive（主要是SQL和一些特性，窗口函数，分区分桶，UDF，工作中用的很多）2，MapReduce（理解原理流程思想，大数据处理的核心思想，实际工作不用）4，Yarn（懂原理就行，实际就是简单的提交任务，查看资源分配情况）1，HDFS（懂原理就行，会基础命令）6，SQL（刷一些热门的sql题目）

原创 spark submit常用脚本

【代码】spark submit常用脚本。

原创 SAP常用T-CODE

CT04 查看配置参数。

原创 jdbc读取HANA CLOUD报错

问题描述：查HANA CLOUD的一个表，这张表有两百多个子段就会报错。解决方案：原来用的2.9.8，升级hana驱动包版本，问题解决。

原创 SparkStreaming直连kafka报错：requirement failed: Failed to get records for spark-executor-xxx topic_xxxx

依次排查后，确认是kafka服务端网络问题，因为sparkStreaming连接kafka走得是公网，数据量大网络不稳定是常有的情况，由于超过spark.streaming.kafka.consumer.poll.ms设置的120s时长，task没获取到对应的topic分区的数据，就会导致类似连接超时的异常，那这个task就fail掉了。：奇了怪了，这个任务之前一直在生产上跑的好好的，突然今天发现大批量的task在pending中，而且每个批次的job执行的时间都超过了窗口时间。

原创 SAP sq01，sq02，sq03创建query报表

拖动A表KEY字段到B表对应KEY字段可新建关联。选项２：系统将把所有表（SPFLI，SFLIGHT）的所有字段关键字段放到信息集对应的字段组。选项１：系统将自动把所有表（SPFLI，SFLIGHT）的所有字段放到信息集对应的字段组。添加附加字段，点击Extras(附加)按钮-->Selections-->Create。分配自定义字段到字段组，右键选择自己输出的字段组，然后保存信息集并退出。填写信息集名称，基础Query的基础数据库表，然后点击保存按钮。输入选择字段描述信息和引用的表字段，字段展示顺序。

原创 spark history server异常

现象：spark 日志文件突然新增了很多.hprof文件，发现是history Server服务一直启动oom异常。定位配置参数发现spark历史任务日志太多，一直没清理。

原创 qlik为app添加定时调度

qlik给app设置定时调度

原创 java和sql生成时间维度数据

【代码】java和sql生成时间维度数据。

原创 Scala反射调用object

【代码】Scala反射调用object。

原创 Git生成ssh密钥，配置gitLab

【代码】Git生成ssh密钥，配置gitLab。

原创 MySQL查询当前执行的sql，kill当前执行的sql

查询当前执行的sql：kill当前执行的sql：kill id。

原创 hive创建映射hbase外表

hbase

原创 JDBC工具类

jdbc工具类

原创 git初始化本地仓库

git远程仓库初始化

原创 Spark读取mysql(jdbc)数据分区两种API

Spark读取mysql(jdbc)数据分区两种API

原创 Mysql分组TopN

Mysq分组TopN。

原创 hive SQL struct类型和Array＜struct＞类型转json字符串

数据格式：default_address是struct类型，address是Array<struct>类型：例如：array<struct<id:string,customer_id:string>>目标格式：[ { "id": "1111", "customer_id": "2222" }, { "id": "3333", "customer_id": "444

原创 MySQL8递归查询

表：人员表：t_sys_user组织机构表：t_sys_organization组织机构人员关系表：t_sys_user_organization需求：传入一个组织机构id查询该机构下面所有的人员SQL:with recursive t as( SELECT * FROM t_sys_organization WHERE organization_id='150030595752464384' UNION ALL SELECT c.* FROM t_sys_o

原创 MapReduce为什么要排序

MapReduce在reduce阶段需要分组，将key相同的放在一起进行规约，为了达到该目的，有两种算法：hashmap和sorthashmap算法太耗内存，而sort通过外排可对任意数据量分组，只要磁盘够大就行。map端排序是为了减轻reduce端排序的压力。注：在spark中，除了sort的方法，也提供hashmap，用户可配置，毕竟sort开销太大了。...

原创 ntile函数

适用sparkSQL和hiveSQL作用： ntile函数可以对序号进行分组处理。这就相当于将查询出来的记录集放到指定长度的数组中，每一个数组中存放一定数量的记录。ntile函数为每条记录生的序号就是这条记录所在数组的索引(从1开台)。也可以将每一个分配录的数组元素称为"桶"。ntile函数有一个参数，用来指定桶数。下面的SQL语句使用ntile函数对t_table表进行了装桶处理:SELECT ntile(4) over...

原创 cdh6.x命令行启动与关闭

关闭所有cloudera-scm-agent节点# 使用root用户# 在所有节点上执行service cloudera-scm-agent stop# 查看是否关闭service cloudera-scm-agent status关闭cloudera-scm-server节点# 使用root用户# 在cloudera-scm-server节点上执行service cloudera-scm-server stop# 查看是否关闭service cloudera-sc.

原创 linux安装cdh

环境准备：linux版本：阿里云ecs，Red Hat 4.8.5，四台机器（一台主节点，三台从节点）cdh版本：cdh-6.1.0-install-soft.tar.gz，离线安装java版本： jdk1.8.0_181-cloudera.tar.gz关闭防火墙systemctl stop firewalld 关闭防火墙systemctl disable firewalld 禁止防火墙开机自启vi /etc/selinux/config —> SELINUX=disab..

原创 sublime安装json格式化插件

安装pretty json插件：1，快捷键crtl+shift+p输入pic：2，输入

原创 Spark Streaming连接kafka消费多个topic只消费其中一个topic一个分区的问题

代码：import org.apache.kafka.common.serialization.StringDeserializerimport org.apache.log4j.{Level, Logger}import org.apache.spark.sql.SparkSessionimport org.apache.spark.streaming.kafka010._import org.apache.spark.streaming.{Seconds, StreamingContext

原创 Spark中K-Means算法计算RFM

环境与定义K-Means：org.apache.spark.ml.clustering.KMeans，版本2.11RFM：根据业务需求的不同，RFM也会存在不同的定义，此处的定义：R：最近一次购买时间距今的天数（0 - 365/366） F：有购买行为的天数（一天多次购买算一次） M：购买的总金额（注意0或者超大金额是否需要过滤掉）只计算一年内的订单数据结算结果（标签值）：将用户共分为8种类型实现：1，加载订单数据转换为DataFrame：SELECT

原创 spark报错ERROR client.TransportResponseHandler: Still have 1 requests outstanding when connection from

spark任务报错（不过计算后的结果是对的）：21/04/29 14:38:38 ERROR client.TransportResponseHandler: Still have 1 requests outstanding when connection from /172.16.4.156:37528 is closed21/04/29 14:38:39 ERROR cluster.YarnScheduler: Lost executor 3 on cdh-slave1.test.com: C