- 博客(93)
- 收藏
- 关注
RSS订阅原创 mysql导入hive分区表
#yesterday=`date -d "1 days ago" +%Y-%m-%d`yesterday=`date -d "@$(($(date +%s)- 86400))" '+%Y-%m-%d'`today=`date -d "@$(($(date +%s)))" '+%Y-%m-%d'`sqoop import \--connect jdbc:mysql://主机:3306/表 \--username 用户名\--password 密码\--query "select line1,
2021-10-12 17:54:14
261
原创 hive求近三个月数据的平均环比值
计算公式：(L1汇总金额 / L2汇总金额 + L2汇总金额 / L3汇总金额+ L3汇总金额 / L4汇总金额) / N；N为近3个月实际有交易月份数，若某月为空会跳过该月和下月计算，例如L2月份没有数据，则计算公式就为：(L1汇总金额 / L3汇总金额+ L3汇总金额 / L4汇总金额) / 2。以此类推，若没有数据默认为-999999,若只有一个月数据则为999999
2021-07-05 16:19:39
1253
原创 hive求用户每月的分位数
背景：用户每月的交易金额总数 / 每月的交易金额中位数（按照用户每月汇总后的金额）hive当中有两个函数可求中位数，percentile和percentile_approx。下面分别介绍：percentile：percentile(col, p) col是要计算的列（值必须为int类型），p的取值为0-1，若为0.5，那么就是2分位数，即中位数。percentile_approx：percentile_approx(col, p)。列为数值类型都可以。但是percentile计算的结果是精准的，而
2021-07-02 15:24:20
836
原创 hive求算最大连续未交易天数
可能在工作中碰到最多的是连续交易天数，不过现实中我确实遇到了这个类似的需求，由于工作保密性，不展示原有的需求首先对交易表中对用户id和交易日期进行去重处理，因为一个人，可以在一天多次交易，同时当做子查询，在这里使用临时表with tmp1 as selectid,bill_datefrom tab1group by id,bill_date按照id分组，按照日期升序排序，在使用lag开窗函数（LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值第一个参数为列名，第二个参数为往
2021-06-30 16:35:43
473
原创 hive报错：Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
初看特别高大上，实际上自己犯了个挺弱智的错误，就是字段类型判断出错，但是hive的日志报错并没有显示出来，就是一个decimal类型的字段，在判断中使用了line1 <> ''这样的判断，导致我耽误挺长时间的，告诫各位，一定要细心，切勿因为一点小错，造成时间浪费。其他导致这个报错信息的原因，仅看hive的报错信息是看不出来的，要去看yarn日志上的，根据任务id去查询...
2021-06-28 11:02:33
4186
原创 mysql迁移数据和表结构到pgsql所出现的问题
由于生产需要，mysql存储不下大数据量，故而将数据及表结构迁入pgsql，记录这一阶段所出现的问题及解决方案
2021-03-01 20:04:37
631
原创 Linux执行 wget命令:提示command not found，同时yum没有配置阿里云的yum源
场景：yum源一开始配置的是本地，后来需要配置阿里云yum源，同时wget命令无法使用
2020-09-10 11:35:18
1200
原创 大数据生态常用端口号
1.HDFS50070：HDFS WEB UI端口8020 ： HDFS 内部端口8088 ： Yarn 的WEB UI 接口8032 ： ResourceManager的applications manager(ASM)端口19888：历史端口号2.Hive 9083 : metastore服务默认监听端口3.Hbase60010：master的WEB UI端口60030：regionServer的WEB UI 端口 4.zookeeper2181 ： 客户端连接zoo
2020-08-31 18:39:07
239
原创 kafka的组件、进程、端口号
组件：Producer：生产者Consumer：消费者Broker：kafka集群的server，负责处理消息读写请求，存储消息Topic：消息队列、分类Queue：里边有生产者消费者模型进程：producer、consumer、broker、leader、follower、consumerGroup端口号：kafka学习默认端口号9092组件挂掉及影响：leader：挂掉之后，会在ISR之中在选择一个leader，但是得遵循半数机制follower：可同步数据的节点少一个，但是
2020-08-31 16:41:45
1985
原创 hbase的组件、端口号、进程
组件及进程：1.Client1.整个Hbase集群的访问入口2.Client当中包含了访问Hbase接口，此外，Client维护了对应了的cache加速Hbase访问，比如cache的.META.元数据的信息3.与HRegionServer进行数据读写类操作4.使用HBase RPC机制与HMaster和HRegionServer进行通信；2.Zookeeper1.高可用通过Zookeeper来保证master的高可用，保证集群中只有一个master运行。如果正在服务的master产生异常
2020-08-31 16:16:00
3993
原创 flink之进阶面试题
flink Checkpoint的理解轻量级容错机制(全局异步，局部同步)保证exactly-once 语义用于内部失败的恢复基本原理：通过往source 注入barrier，barrier作为checkpoint的标志flink Savepoint的理解流处理过程中的状态历史版本具有可以replay的功能外部恢复（应用重启和升级）两种方式触发：Cancel with savepoint，手动主动触发$s bin/flink savepoint :jobId [:targetDirect
2020-07-21 20:00:16
1055
1
原创 flink面试题
1、Flink 的 抽象层次有几种TableSQLCore APIStateful stream processing2、Window 类型(1)TimeWindowTumbling Window(滚动窗口)Sliding Window(滑动窗口)Session Window(会话窗口)Global Window(全局窗口)(2)countWindow(3)自定义window3、Time 类型Flink 中的时间和其他流式计算系统的时间一样分为三类：事件时间，摄入时间，处理时间
2020-07-20 10:00:00
845
原创 flink之检查点（checkpoint）和保存点（savepoint）的区别
一、检查点：检查点屏障跟普通记录一样。它们由算子处理，但并不参与计算，而是会触发与检查点相关的行为。会在算子之间流动。当读取输入流的数据源遇到检查点屏障时，它将其在输入流中的位置保存到稳定存储中。如果输入流来自消息传输系统（Kafka 或 MapR Streams），这个位置就是偏移量。Flink 的存储机制是插件化的，稳定存储可以是分布式文件系统，如HDFS、S3 或 MapR-FS如图所示，位于检查点之前的所有记录（[“b”,2]、[“b”,3] 和 [“c”,1]）被 map 算子处理之后的情况。
2020-07-18 15:38:41
1189
原创 mysql之部门工资前三的所有员工
题目叙述要求解法一：注：mysql也可以用开窗函数，用法与hive略有区别select d.name department,a.name name,a.salary from department d,(SELECT name,salary ,departmentid,Dense_rank() over(partition by departmentid order by salary desc) as ranking from employee1 ) a where a.departme
2020-07-16 11:47:28
928
原创 大数据面试题之sqoop
1 Sqoop参数/opt/module/sqoop/bin/sqoop import \--connect \--username \--password \--target-dir \--delete-target-dir \--num-mappers \--fields-terminated-by \--query "$2" ' and $CONDITIONS;'2 Sqoop导入导出Null存储一致性问题Hive中的Null在底层是以“\N”来存储，而MySQL中的N
2020-07-16 10:10:11
441
原创 大数据面试题之hive
hql面试题点击此处以下为理论架构Hive的架构注：hive1.0、2.0默认引擎是mr，但hive3.0是tezHive和数据库比较查询语言由于SQL被广泛的应用在数据仓库中，因此，专门针对Hive的特性设计了类SQL的查询语言HQL。熟悉SQL开发的开发者可以很方便的使用Hive进行开发。数据存储位置Hive 是建立在 Hadoop 之上的，所有 Hive 的数据都是存储在 HDFS 中的。而数据库则可以将数据保存在块设备或者本地文件系统中。数据更新由于Hive是针对数据仓库应用
2020-07-14 10:40:57
695
原创 bin/schematool -dbType mysql -initSchema HiveMetaException: Failed to get schema version.
出现报错：org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.Underlying cause: java.sql.SQLException : Access denied for user ‘root’@‘hadoop101’ (using password: YES)错误原因用户xxxxx权限不足进入mysql,查询用户:grant all on *.* to 'root'@'ha
2020-07-08 10:04:43
279
原创 zookeeper的读和写数据流程（有图欧）
须知Zookeeper中Leader和Follower的作用：Leader：负责进行投票的发起和决议，分布式读写，更新请求转发；Follower：负责接收客户端请求并向客户端返回结果，在选举Leader过程中参与投票（选举机制）；一、写数据流程以3台服务器的Zookeeper集群为例，一个Leader，两个Follower即server1和server2（1）Client向Zookeeper的server1发送一个写请求，客户端写数据到服务器1上；（2）如果server1不是Leader，那
2020-05-21 16:25:26
354
原创 mysql之指定ip、用户、数据库权限
mysql设置指定ip远程访问连接实例本文实例讲述了mysql设置指定ip远程访问连接的方法，分享给大家供大家参考。具体实现方法如下：授权用户root使用密码jb51从任意主机连接到mysql服务器：GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'jb51' WITH GRANT OPTION;flush privileges;2.授权用户root使用密码jb51从指定ip为218.12.50.60的主机连接到mysql服务器
2020-05-12 08:54:08
307
原创 hql中substr函数截取字符串匹配
开发中，经常进行模糊查询或者进行截取字符串进行模糊匹配，常用的就是substr函数或者substring函数。使用语法: substr(string A, int start),substring(string A, int start) 两者用法一样,两个参数 返回值: string 说明：返回字符串A从start位置到结尾的字符串举例演示：...
2020-05-05 10:35:12
5162
原创 sql函数之cast()
CAST函数用于将某种数据类型的表达式显式转换为另一种数据类型。CAST()函数的参数是一个表达式，它包括用AS关键字分隔的源值和目标数据类型。语法：CAST (expression AS data_type)expression：任何有效的SQServer表达式。AS：用于分隔两个参数，在AS之前的是要处理的数据，在AS之后是要转换的数据类型。data_type：目标系统所提供的数据类型...
2020-05-05 10:25:51
174
原创 最新的Sql笔试题及答案，部门表，用户表，客户信息表，订单表
部门表(SM_DEPT)用户部门中间表(SM_USER_DEPT)用户表(SM_USER)客户信息表(CTM_CUSTOMERS)订单头表(PIM_HEADERS)订单行表(PIM_LINES)问题1.编写SQL语句，查询PIM_HEADERS表，符合日期在2011-03-01和2011-03-25之间的PI订单，显示订单号，创建日志，订单客户名称，订单业务员名称sel...
2020-04-27 17:11:45
2166
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人