- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 scoop命令
sqoop的命令只能在行，如果换行则需要使用 \ 1、列出mysql的数据库： sqoop list-databases --connect jdbc:mysql://hadoop01:3306/ -username root -password root ; 2、列出某个数据库下的表： sqoop list-tables --connect jdbc:mysql://hadoop01:3306/ywp -username root -password root ; 3、将mysql中的数据导入到hd
2020-07-30 19:26:36
1049
转载 数仓--Hive-面试之Hive常用命令及作用
1-创建表 -- 内部表 create table aa(col1 string,col2 int) partitioned by(statdate int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'； -- 外部表 create external table bb(col1 string, col2 int) partitioned by(statdate int) ROW FORMAT DELIMITED FIELDS TERMINATED B
2020-07-30 19:20:53
171
原创 Spark监控数据获取工具类
package com.air.antispider.stream.common.util.spark import com.alibaba.fastjson.JSON /** Spark监控数据获取工具类 */ object SparkMetricsUtils { /** 获取监控页面信息 */ @throws(classOf[java.io.IOException]) @throws...
2020-04-28 18:39:41
219
原创 项目中jedis工具类
package com.air.antispider.stream.common.util.jedis; import redis.clients.jedis.*; import java.io.IOException; import java.util.*; /** */ public class JedisConnectionUtil { /** * jedis哨兵集群连接单例对象 */ ...
2020-04-28 18:38:43
196
原创 项目中kafka工具类
package com.air.antispider.stream.common.util.kafka import kafka.common.TopicAndPartition import org.I0Itec.zkclient.ZkClient import org.I0Itec.zkclient.exception.{ZkNoNodeException, ZkNodeExistsExcep...
2020-04-28 18:37:14
700
原创 MD5的加密类
package com.air.antispider.stream.common.util.decode; import java.lang.reflect.Array; public class MD5 { static final int S11 = 7; static final int S12 = 12; static final int S13 = 17; static final ...
2020-04-28 18:35:33
279
原创 数据库工具类（scala语言）
C3P0工具类 package com.air.antispider.stream.common.util.database; import com.air.antispider.stream.common.util.jedis.PropertiesUtil; import com.mchange.v2.c3p0.ComboPooledDataSource; import java.sql.Con...
2020-04-28 18:34:15
259
原创 hive的基础知识
数据仓库的基本介绍： 1、数据仓库的基本概念 名字叫做data warehourse 数据仓库 仓库：主要用于存储东西的，不会生产东西，也不会消耗东西 数据仓库：不会产生任何的数据，也不会消耗任何的数据，只是用于存储这些数据 主要用于分析性报告和决策支持 2、数据仓库的主要特征： 面向主题：有确切的分析目标 集成性：相关的数据都会弄到数据仓库当中来，便于我们下一步的分析 非易失性：数据一旦进入到...
2019-07-30 18:00:30
194
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人