![](https://img-blog.csdnimg.cn/20190918140213434.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据生态圈组件
文章平均质量分 79
生态圈组件,每隔几年出一代
AIMaynor
个人博客:maynor1024.live,ai网站:api.maynor1024.live
展开
-
2022年最新Python大数据之Python基础【一】介绍
创始人吉多·范罗苏姆龟叔为什么要学习Python大势所趋,简单易学,使用范围广我们本次学习使用Python3.x版本Python在大数据生态中应用非常广泛。原创 2022-08-02 14:33:35 · 919 阅读 · 0 评论 -
教你如何成为开源项目SeaTunnel的贡献者
经过阅读源码,发现源码中有 Bug,修改后将代码提交给社区。或者,框架有一个新 的特性亟待开发,你为新功能的实现提供了解决方案,这属于代码贡献,也是一种重要的 参与开源贡献的方式。.........转载 2022-06-14 20:50:57 · 1059 阅读 · 2 评论 -
如何使用云容器搭建基于CentOS7的Hadoop2.x伪分布式环境(CSDN开发者云平台使用初体验)
前不久CSDN联合国内顶级云厂商,共同为开发者提供稳定便宜的云服务,送了学长两张优惠券,一张云容器,一张云主机。恰好最近在学习某硅谷的SeaTunnel课程需要用到主机做实验,使用本地的还需要,有诸多不便,于是想试试服务。.........原创 2022-06-12 18:00:22 · 1483 阅读 · 27 评论 -
DCM:中间件家族迎来新成员
在这样的背景下,如果有一种不依赖数据库、具备开放计算能力、能够与应用嵌入集成使用的数据计算处理技术,那么这些问题就都能够很好地解决,这就是数据计算中间件(Data Computing Middleware,简称DCM)。原创 2022-05-31 08:00:00 · 372 阅读 · 17 评论 -
误删数据?如何快速恢复Oracle数据库
误删oracle数据库中的数据,在不考虑全库备份和利用归档日志情况,怎样快速恢复数据呢?下面介绍3种方法。1. 利用oracle提供的闪回方法进行数据恢复,适用于delete删除方式首先获取删除数据的时间点:select * from v$sql where sql_text like '%table_name%' ;1根据结果中的sql_text内容,找到delete执行语句对应的删除时间点,执行下面语句查询出删除的数据。select * from table_name as of tim转载 2022-05-26 18:36:30 · 3383 阅读 · 1 评论 -
工作中可能用到的——集中式版本控制系统SVN
SVN系统转载 2022-05-23 18:07:34 · 280 阅读 · 0 评论 -
Kylin的入门实战
kylin入门代码原创 2022-05-11 10:53:48 · 1480 阅读 · 0 评论 -
Hudi核心知识点详解——快速入门数据湖
Hudi的入门文章转载 2022-05-10 17:39:21 · 8481 阅读 · 0 评论 -
大数据繁荣生态圈组件之实时大数据Druid小传(一)
大数据实时分析工具Druid概述!原创 2022-04-19 10:41:17 · 605 阅读 · 1 评论 -
OracleDBA精选面试题
以下的文章主要介绍的是Oracle DBA面试题,我们一共列举的是23道相关的面试题,主要是以一问一答的方式,下面就是文章的具体内容的详细分析,望你浏览之后会对Oracle DBA面试题的模式有更好的理解。原创 2022-03-31 09:46:23 · 3888 阅读 · 0 评论 -
Kylin 是什么?
文章目录Apache Kylin™ 概览Kylin 是什么?可扩展超快的基于大数据的分析型数据仓库:Hadoop ANSI SQL 接口:交互式查询能力:多维立方体(MOLAP Cube):实时 OLAP:与BI工具无缝整合:其他特性:谁在使用 Kylin?Kylin 生态圈Apache Kylin™ 概览Apache Kylin™是一个开源的、分布式的分析型数据仓库,提供Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由 eBay 开发并贡献至开源社原创 2022-03-22 18:00:22 · 521 阅读 · 1 评论 -
金融+大数据解决方案:银行业
文章目录方案概述方案特色系统架构典型客户方案概述银行业是一个数据驱动的行业,数据也一直是银行信息化的主题词。随着大数据技术的飞速发展,银行信息化也进入了新的阶段:大数据时代。 银行在大数据技术应用方面具有天然优势:一方面,在业务开展过程中积累了大量有价值的数据,通过运用大数据技术挖掘和分析之后,这些数据将产生巨大的商业价值;另一方面,银行在资金、设备、人才、技术上都具有极大的便利条件,有能力采用大数据的最新技术。建立“金融大数据服务平台”, 可以通过对金融数据的挖掘、分析,创造数据增值价值,提供针对银原创 2022-03-18 19:41:25 · 3401 阅读 · 0 评论 -
datax详细介绍及使用
文章目录一、dataX概览1.1 DataX1.2 Features1.3 System Requirements1.4 Quick Start二、dataX详解2.1 DataX 3.0概览2.2 DataX3.0框架设计2.3 DataX3.0插件体系2.4 DataX3.0核心架构2.4.1 核心模块介绍:2.4.2 DataX调度流程:2.5 DataX 3.0六大核心优势三、dataX案例3.1 案例1(stream--->stream)3.2 案例2(mysql--->hdfs)3.转载 2022-03-10 21:08:37 · 6081 阅读 · 1 评论 -
DolphinScheduler 之Docker 部署
文章目录快速试用 Docker 部署先决条件如何使用 Docker 镜像一、以 docker-compose 的方式启动 DolphinScheduler (推荐)0、请配置内存不少于 4GB1、下载源码包2、拉取镜像并启动服务3、登录系统二、通过指定已存在的 PostgreSQL 和 ZooKeeper 服务1、基础软件安装 (请自行安装)2、请登录 PostgreSQL 数据库,创建名为 `dolphinscheduler` 数据库3、初始化数据库,导入 `sql/dolphinscheduler_po原创 2022-03-03 20:57:41 · 6976 阅读 · 1 评论 -
大数据精读系列官网分享
HiveHiveSQLhttps://cwiki.apache.org/confluence/display/Hive/LanguageManualSparkSparkRDDhttps://spark.apache.org/docs/latest/rdd-programming-guide.html#basics原创 2022-01-11 10:52:22 · 719 阅读 · 0 评论 -
Mysql高级完整版
Mysql高级01 MySQL高级课程简介1.基本硬件知识(了解)1.1计算机工作原理1.中央处理器(英文Central Processing Unit,CPU)是一台计算机的运算核心和控制核心。CPU、内部存储器和输入/输出设备是电子计算机三大核心部件。其功能主要是解释计算机指令以及处理计算机软 件中的数据。CPU核心组件:1.算术逻辑单元(Arithmetic&logical Unit)是中 央处理器(CPU)的执行单元,是所有中央处理器的核心组成部分,由"And Gate"(与门) 和原创 2021-12-23 16:52:29 · 3688 阅读 · 2 评论 -
ANKI卡牌のbigdata刷题使用指南
ANKI卡牌刷题使用指南适用:手机/网页版/客户端前提需要用手机注册一个账号移动端1.App商店下载: Anki记忆卡2.选择"卡牌资源"搜"大数据导论" 导入即可4.其他题库在"作者其他资源"下载即可网页端小技巧1.如何限制时间?2.如何随机做题?在学习设置选择随机学习...原创 2021-12-21 17:35:36 · 1624 阅读 · 0 评论 -
SQL高阶学习
create database demo_01 default charset=utf8mb4;use demo_01;CREATE TABLE `city` (`city_id` int(11) NOT NULL AUTO_INCREMENT,`city_name` varchar(50) NOT NULL,`country_id` int(11) NOT NULL, PRIMARY KEY (`city_id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8;原创 2021-11-23 17:38:11 · 767 阅读 · 1 评论 -
zookeeper安装部署 zookeeper都需要修改
安装前需要安装好jdk检测集群时间是否同步检测防火墙是否关闭检测主机 ip映射有没有配置##下载安装包、解压tar -zxvf zookeeper-3.4.5.tar.gzmv zookeeper-3.4.5 zookeeper##修改环境变量(注意:3台zookeeper都需要修改)vi /etc/profileexport ZOOKEEPER_HOME=/export/servers/zookeeper-3.4.5-cdh5.14.0export PATH=$PATH:$ZOO原创 2020-10-19 16:41:05 · 3183 阅读 · 0 评论 -
Zookeeper的Shell 客户端操作和zookeeper java api 代码
Zookeeper的Shell 客户端操作和zookeeper java api 代码Zookeeper的Shell 客户端操作ZooKeeper Java APIzookeeper选举机制Zookeeper的Shell 客户端操作运行 zkCli.sh –server ip:2181 命令 说明 参数create [-s] [-e] path data acl创建Znode-s 指定是顺序节点-e 指定是临时节点ls path [watch] 列出Path下所有子Znodeget转载 2020-10-20 17:23:24 · 2784 阅读 · 1 评论 -
Kettle教程[2] 程序员小姐姐的第二次邂逅——JOB(作业)开发
程序员小姐姐的第二次邂逅——JOB前几天帮助程序员小姐姐小花解决了使用Kettle从Excel中抽取数据到MySQL问题,小姐姐特别高兴,请你吃了一顿饭,好一顿魂牵梦绕。小姐姐好几天都没有联系了,今天小姐姐又抱着电脑来找你了。你知道,又有新的问题来了。项目经理要求小姐姐小花能够每5秒钟执行一次Kettle转换,也就是每5秒钟将Excel中的数据抽取并装载到MySQL中。 怎么实现呢?要实现这个需求,我们需要学习Kettle的JOB,也就是作业。Kettle中的作业(job)定义了转换应该如何执行原创 2021-09-28 18:00:00 · 651 阅读 · 1 评论 -
一文快速了解ClickHouse 战斗民族的开源搜索引擎(超详细解读+快速入门)
文章目录引言1.技术选型__弱水三千只取一瓢饮2. ClickHouse 的保姆级入 门2.1ClickHouse 概 述2.1.1ClickHouse 发展历程2.1.2ClickHouse 特 性2.1.3ClickHouse 优 势2.1.4ClickHouse 劣 势2.1.5ClickHouse 基准测试2.2ClickHouse 应用场景2.3ClickHouse 使用案例2.4ClickHouse 快速入门2.4.4简单查询原创 2021-06-07 22:46:32 · 2673 阅读 · 0 评论 -
❤️一文快速入门MongoDB数据库❤️
一 MongoDB的应用场景网站实时数据的插入、更新、删除。处理规模较大但是成本很高的数据(大尺寸、低价值数据)对象或JSON的文本存储不需要经常通过表计算的,对事务要求不高的数据。一些应用层的缓存社交场景,使用 MongoDB 存储用户信息,以及用户发表的朋友圈信息,通过地理位置索引实现附近的人、地点等功能。游戏场景,使用 MongoDB 存储游戏用户信息,用户的装备、积分等直接以内嵌文档的形式存储,方便查询、高效率存储和访问。物流场景,使用 MongoDB 存储订单信息,订单状态在运送原创 2021-09-14 18:29:26 · 621 阅读 · 10 评论 -
一文快速了解Elastic Search 开源搜索引擎(技术选型+启动命令)
为什么选择 Elastic SearchElasticSearch简介Elasticsearch是一个基于Apache原创 2021-06-03 13:21:34 · 2938 阅读 · 9 评论 -
Sqoop练习题
文章目录Sqoop练习题题一题二Sqoop练习题题一1.准备数据CREATE TABLE student (id int(11) DEFAULT NULL,name varchar(100) DEFAULT NULL,class varchar(100) DEFAULT NULL,age int(11) DEFAULT NULL,high varchar(10) DEFAULT NULL) ENGINE=InnoDB DEFAULT CHARSET=latin1;INSERT INTO原创 2020-12-17 20:18:36 · 1087 阅读 · 0 评论 -
sqoop快速安装
安装sqoop的前提是已经具备java和hadoop的环境。最新稳定版: 1.4.6配置文件修改:cd /export/servers/sqoop/conf/cp sqoop-env-template.sh sqoop-env.shvim sqoop-env.shexport HADOOP_COMMON_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0export HADOOP_MAPRED_HOME=/export/servers/hadoop-2.6原创 2020-12-28 20:29:16 · 334 阅读 · 0 评论 -
Sqoop Job报错日志
hcatalog环境变量没配/export/servers/hive-1.1.0-cdh5.14.0/hcatalog/export HCAT_HOME=/export/servers/hive-1.1.0-cdh5.14.0/hcatalog/export PATH=$PATH:$HCAT_HOME/bin原创 2020-12-29 17:24:20 · 750 阅读 · 0 评论 -
Hue安装错误集锦 系统自带的镜像源搞了好久不行,换成sohu的
Access denied for user ‘root’@‘localhost’ (using password: NO)在smtp设置主机名,端口号,账号,密码Access denied for user ‘root’@‘localhost’ (using password: NO)没检查少了去##原创 2020-12-03 21:39:07 · 501 阅读 · 0 评论 -
用Hue分析马老师的B站视频弹幕----我发现了一个新词
CREATE DATABASE IF NOT EXISTS test;use test;创建数据库create external table MBGAnalyse (dm_time STRING,send_date STRING,send_month STRING,send_time STRING,text STRING,user_id STRING) row format delimited fields terminated by ',';load data inpath '/user/原创 2020-12-05 23:06:27 · 365 阅读 · 1 评论 -
Apache Flume及快速安装
Apache Flume 介绍在一个完整的离线大数据处理系统中,除了 hdfs+mapreduce+hive 组成分析系统的核心之外, 还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统,而这些辅助工具在hadoop 生态体系中都有便捷的开源框架原创 2020-12-07 08:07:19 · 714 阅读 · 0 评论 -
Apache Impala 的安装部署
4.配置本地yum源4.1.上传安装包解压使用sftp的方式把安装包大文件上传到服务器/cloudera_data目录下。cd /cloudera_datatar -zxvf cdh5.14.0-centos6.tar.gz4.2.配置本地yum源信息安装Apache Server服务器yum -y install httpdservice httpd startchkconfig httpd on配置本地yum源的文件cd /etc/yum.repos.dvim localim原创 2020-12-07 17:24:50 · 956 阅读 · 0 评论 -
Azkaban Web Client 的简单使用
生成一个每天上课前的工作流type=commandcommand=echo "起床"type=commanddependencies={依赖job的名称1},{依赖job的名称2}command=echo "yf上课"原创 2020-12-06 15:22:51 · 469 阅读 · 0 评论 -
一文快速搞懂系列__一文快速搞懂SuperSet[实战案例]
一文快速搞懂系列讲究快速入门掌握一个新的大数据组件,帮助新手了解大数据技术,以下是系列文章:原创 2021-06-13 20:46:58 · 5398 阅读 · 6 评论 -
Docker容器基本使用 | Note_Logistics_Day02
虚拟化(Virtualization),在Windows系统上安装VMWare虚拟化软件,可以将物理机器资源虚拟化到机器上(VM),在虚拟机上安装操作系统,运行应用程序。在计算机中,虚拟化(英语:Virtualization)是一种资源管理技术,是将计算机的各种实体资源,予以抽象、转换后呈现出来,打破实体结构间的不可切割的障碍,使用户可以比原来的组态更好的方式来应用这些资源。原创 2021-05-18 18:15:31 · 2466 阅读 · 0 评论 -
程序员小sister的烦恼_快速上手大数据ETL神器Kettle(xls导入mysql)
文章目录引言文章传送门:程序员小姐姐的烦恼数据抽取的需求准备工作找到小姐姐的Excel文件构建Kettle数据流图配置Kettle数据流图中的组件保存并启动执行Kettle转换确认执行结果到这里,恭喜你,程序员小姐姐小花的问题你已经帮她解决了,晚上让她请你吃个饭吧。总结引言大家好,我是ChinaManor,直译过来就是中国码农的意思,俺希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。一文快速搞懂系列讲究快速入门掌握一个新的大数据组件,帮助新手了解大数据技术,以下是系列原创 2021-06-13 21:59:09 · 9173 阅读 · 23 评论