![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据获取
文章平均质量分 69
关掉别看了,再学就秃啦!
这个作者很懒,什么都没留下…
展开
-
项目数据分层 ODS DW DM
项目数据分层 ODS DW DMODSODS 全称是 Operational Data Store,操作数据存储.“面向主题的”,数据运营层,也叫ODS层,是最接近数据源中数据的一层,数据源中的数据,经过抽取、洗净、传输,也就说传说中的 ETL 之后,装入本层。本层的数据,总体上大多是按照源头业务系统的分类方式而分类的。** 撰写脚本 执行数据迁移 MySQL ===》Hive **#!/bin/bashsqoop import \--connect jdbc:mysql://192.168.6原创 2021-08-06 22:46:42 · 649 阅读 · 0 评论 -
Flume的学习与使用
Flume的学习与使用一、Flume的简介1.1、Flume的作用Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。其最主要的作用就是,读取服务器本地磁盘的数据,将数据写入HDFS1.2 、Flume的基本组件...原创 2021-07-05 22:03:27 · 512 阅读 · 1 评论 -
SQOOP 数据导入与导出
SQOOP 数据导入与导出简介Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具,来自于Apache软件基金会提供主要功能:导入数据(import):从RDBMS的MySQL,Oracle 导入数据到 Hadoop 的 HDFS、Hive、Hbase 等数据存储系统导出数据(export):从 Hadoop 的文件系统中导出数据到关系数据库 Mysql等Export(导出)默认模式是将HDFS上的数据导入到Mysql中HDFS --> Mysq原创 2021-06-30 19:39:02 · 1196 阅读 · 0 评论 -
利用JAVA向Hbase表中批量插入数据
利用JAVA向Hbase表中批量插入数据插入数据的文件格式要求:1.文件名格式为:命名空间名_表名_时间戳.时间戳如:dsj_test_1624591726565.16245917265652.文件内格式:第一行用于描述表结构:行键 ,列簇名1:列名1,列簇名1:列名2,列簇名2:列名1 如::key,cf1:name,cf2:age,cf2:pos,cf2:salary,cf3:rst其他行为具体插入的数据:key,cf1:name,cf2:age,cf2:pos,cf2:salar原创 2021-06-27 16:15:57 · 1874 阅读 · 1 评论 -
MYSQL 高阶函数
MYSQL 高阶函数行内拼接1.拼接字符串concat(F1,…,Fn);F1,…Fn 为拼接字段,分隔符为逗号,将各字段隔开2.指定分隔符拼接concat_ws(sep,F1,…Fn);F1,…Fn 同为拼接字段,sep为指定分隔符如:concat_ws(’:’,‘aa’,‘bb’,‘cc’);分组收集函数将该列所有行收集为一个集合Collect_list(FIELD)将该列所有行收集为一个去重后的集合collect_set(FIELD)分组组内拼接字符串分组后把原创 2021-05-22 16:53:47 · 535 阅读 · 0 评论 -
ResultSetMetaData类中的方法总结
ResultSetMetaData类中的方法总结String getCatalogName(int column) 获取指定列的表目录名称。String getColumnClassName(int column) 如果调用方法 ResultSet.getObject 从列中检索值,则返回构造其实例的 Java 类的完全限定名称。int getColumnCount() 返回此 ResultSet 对象中的列数。int getColumnD原创 2021-05-16 13:42:48 · 725 阅读 · 0 评论