- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 scoop命令
sqoop的命令只能在行，如果换行则需要使用 \1、列出mysql的数据库：sqoop list-databases --connect jdbc:mysql://hadoop01:3306/-username root -password root;2、列出某个数据库下的表：sqoop list-tables --connect jdbc:mysql://hadoop01:3306/ywp-username root -password root;3、将mysql中的数据导入到hd
2020-07-30 19:26:36
1032
转载 数仓--Hive-面试之Hive常用命令及作用
1-创建表-- 内部表create table aa(col1 string,col2 int) partitioned by(statdate int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'；-- 外部表create external table bb(col1 string, col2 int) partitioned by(statdate int) ROW FORMAT DELIMITED FIELDS TERMINATED B
2020-07-30 19:20:53
142
原创 Spark监控数据获取工具类
package com.air.antispider.stream.common.util.sparkimport com.alibaba.fastjson.JSON/**Spark监控数据获取工具类*/object SparkMetricsUtils {/**获取监控页面信息*/@throws(classOf[java.io.IOException])@throws...
2020-04-28 18:39:41
201
原创 项目中jedis工具类
package com.air.antispider.stream.common.util.jedis;import redis.clients.jedis.*;import java.io.IOException;import java.util.*;/***/public class JedisConnectionUtil {/** * jedis哨兵集群连接单例对象 */...
2020-04-28 18:38:43
163
原创 项目中kafka工具类
package com.air.antispider.stream.common.util.kafkaimport kafka.common.TopicAndPartitionimport org.I0Itec.zkclient.ZkClientimport org.I0Itec.zkclient.exception.{ZkNoNodeException, ZkNodeExistsExcep...
2020-04-28 18:37:14
694
原创 MD5的加密类
package com.air.antispider.stream.common.util.decode;import java.lang.reflect.Array;public class MD5 {static final int S11 = 7;static final int S12 = 12;static final int S13 = 17;static final ...
2020-04-28 18:35:33
270
原创 数据库工具类（scala语言）
C3P0工具类package com.air.antispider.stream.common.util.database;import com.air.antispider.stream.common.util.jedis.PropertiesUtil;import com.mchange.v2.c3p0.ComboPooledDataSource;import java.sql.Con...
2020-04-28 18:34:15
250
原创 hive的基础知识
数据仓库的基本介绍：1、数据仓库的基本概念名字叫做data warehourse 数据仓库仓库：主要用于存储东西的，不会生产东西，也不会消耗东西数据仓库：不会产生任何的数据，也不会消耗任何的数据，只是用于存储这些数据主要用于分析性报告和决策支持2、数据仓库的主要特征：面向主题：有确切的分析目标集成性：相关的数据都会弄到数据仓库当中来，便于我们下一步的分析非易失性：数据一旦进入到...
2019-07-30 18:00:30
158
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人