- 博客(6)
- 收藏
- 关注
RSS订阅原创 Sqoop的一些基本操作
Sqoop功能 1.将关系型数据库数据导入HDFS，解决HDFS的数据来源问题，使数据能够方便地进入HDFS。 2.支持HDFS数据导出到关系型数据库，Hadoop计算出的数据可以方便地写回到数据库中。 3.支持关系型数据库直接将数据导入到Hive。 4.Sqoop是批处理类型的任务，不是常驻服务，不需要像WEB服务一样常驻运行，在需要的时候提交任务就可以完成数据的导入导出。 5.Sqoop是使用命令行进行任务的提交，提供类似于Shell的脚本的Sqopp命令，提交方式很简便。...
2021-11-05 14:33:48
1164
转载 元数据与数据元
元数据是关于数据的数据，在某些时候不特指某个单独的数据，可以理解为是一组用来描述数据的信息组/数据组，该信息组/数据组中的一切数据、信息，都描述/反映了某个数据的某方面特征，则该信息组/数据组可称为一个元数据。元数据可以为数据说明其元素或属性（名称、大小、数据类型等），或其结构（长度、字段、数据列），或其相关数据（位于何处、如何联系、拥有者）。 在日常生活中，元数据无所不在。只要有一类事物，就可以定义一套元数据。举个例子：在电影数据库IMDB上可以查到每一部电影的信息。IMDB本身也定义了一套...
2021-10-29 14:35:44
239
转载 Hive基本操作
安装mysql、hive步骤一、什么是hiveHive是基于Hadoop的一个数据仓库工具(离线)，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。操作接口采用类SQL语法，提供快速开发的能力， 避免了去写MapReduce，减少开发人员的学习成本， 功能扩展很方便。用于解决海量结构化日志的数据统计。本质是：将 HQL 转化成 MapReduce 程序1、优缺点优点：（1) 操作接口采用类 SQL 语法，提供快速开发的能力（简单、容易上手）。 ...
2021-10-22 20:57:41
117
转载 数据仓库分层设计
1、数据仓库所处环节在一个成体系、结构化的数据应用场景下，数据和处理有四个层次： 操作层、数据仓库层、部门/数据集市层、个体层。操作层操作层是指为具体业务提供实时响应的各个业务系统，比如常见的订单系统、ERP、用户中心等等具体业务系统，这些系统中的数据一般都是存入关系型数据库。它们是数据的来源。数据仓库数据仓库收集操作层各个业务系统中的数据，进行统一格式、统一计量单位，规整有序地组织在一起，为数据分析、数据挖掘等需求提供数据支持。数据集市部门/数据集市层是各个部门根据自己的数据分析需求，从数
2021-09-29 16:30:13
224
原创 浅谈SQL基础及应用
SQL是英文Structured Query Language的缩写，意思为结构化查询语言.SQL语言的主要功能就是同各种数据库建立联系，进行沟通.按照ANSI（美国国家标准协会）的规定，SQL被作为关系型数据库管理系统的标准语言.SQL 语句可以用来执行各种各样的操作，例如更新数据库中的数据，从数据库中提取数据等.目前，绝大多数流行的关系型数据库管理系统，如Oracle, Sybase, Microsoft SQL Server, Access等都采用了SQL语言标准.虽然很多数据库都对SQL语句进...
2021-09-26 09:17:26
358
转载 数据科学与大数据技术的就业前景
第一，根据技术发展趋势，由于许多公司当前正在云上开展业务，下一步将不可避免地要基于云计算平台来完成数据的集成和价值，这需要大数据技术的帮助来实现。从这方面来看，未来不仅IT和互联网行业将需要大数据人才，而且产业生产行业还将需要大量的大数据人才。 第二，根据社会发展趋势，5G通信的逐渐应用，使得未来整个社会将逐步进入数字化，智能化时代。此时，数据的价值将进一步提高，而数据的价值将主要依靠大数据来达成，因此大数据技术的开发和应用也是社会发展的一个必然的结果。...
2021-09-24 09:48:45
3176
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人