斗罗昊天锤
码龄7年
关注
提问 私信
  • 博客:63,726
    63,726
    总访问量
  • 70
    原创
  • 2,186,421
    排名
  • 18
    粉丝
  • 0
    铁粉

个人简介:无所谓

IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:上海市
  • 加入CSDN时间: 2017-11-20
博客简介:

XuanAlex的博客

博客描述:
进阶的修仙者
查看详细资料
个人成就
  • 获得25次点赞
  • 内容获得8次评论
  • 获得108次收藏
创作历程
  • 7篇
    2021年
  • 63篇
    2020年
  • 4篇
    2018年
成就勋章
TA的专栏
  • 编程语言进阶
  • Java高级
    1篇
  • Java进阶
    6篇
  • Scala进阶
    23篇
  • Python进阶
    11篇
  • Hadoop进阶
  • Hadoop基础知识
    7篇
  • Hadoop安装
    10篇
  • Hive组件
    2篇
  • Impala组件
    5篇
  • Flume组件进阶
  • Sqoop组件
    1篇
  • Hadoop问题随笔
  • 数据处理组件进阶
  • Spark系统学习知识
    3篇
  • 数据库进阶
  • Redis数据库系统学习知识
    4篇
创作活动更多

超级创作者激励计划

万元现金补贴,高额收益分成,专属VIP内容创作者流量扶持,等你加入!

去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

一、Java中常用的排序算法

一、Java中常用的排序算法一、简介1、稳定排序与不稳定排序2、内排序与外排序3、十大内部排序算法4、十大内部排序汇总4、各种内部排序方法性能比较5、排序算法的选择二、排序算法介绍1、堆排序2、冒泡排序3、快速排序4、归并排序5、(简单)选择排序![在这里插入图片描述](https://img-blog.csdnimg.cn/20210428164342626.gif)6、(直接)插入排序7、计数排序8、Shell排序![在这里插入图片描述](https://img-blog.csdnimg.cn/202.
原创
发布博客 2021.04.28 ·
241 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

二、Hive高级知识进阶

二、Hive高级知识进阶一、常用的查询函数1、Like 和 RLike用法2、Group By 语句3、Having 语句4、Join 语句5、排序6、分区(Distribute By)7、Cluster By二、常用内置函数1、NVL:空字段赋值2、CASE WHEN THEN ELSE END3、行转列4、列转行5、窗口函数(开窗函数)三、自定义函数1、自定义函数分类2、编程步骤以下是本篇文章正文内容,如有错误麻烦请指出。 谢谢 !!!一、常用的查询函数1、Like 和 RLike用法.
原创
发布博客 2021.03.15 ·
787 阅读 ·
0 点赞 ·
0 评论 ·
4 收藏

一、Sqoop常用的关系型数据库导入与导出

一、Sqoop常用的关系型数据库导入与导出一、简介二、sqoop-import命令使用2.1、Sqoop查看关系型数据库信息2.2、关系型数据库数据导入到HDFS上2.3、关系型数据库数据导入到Hive上三、sqoop-export命令使用3.1、全量导出HDFS数据到MySQL3.2、导出HDFS数据到MySQL关于参数‘--update-mode’的应用四、sqoop-job命令使用4.1 创建Job任务以下是本篇文章正文内容,如有错误麻烦请指出。 谢谢 !!!一、简介 Sqoop是一个.
原创
发布博客 2021.03.13 ·
457 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

第二部分:Redis数据库的三种模式(③:Cluster 集群模式)

第二部分:Redis数据库的三种模式(③:Cluster 集群模式)一、集群简介1、描述2、集群作用二、Redis 集群结构设计1、描述2、数据存储设计3、集群内部通讯设计4、Redis 集群节点的删除和添加5、Redis 集群的主从复制模型6、集群的特点以下是本篇文章正文内容,如有错误麻烦请指出。 谢谢 !!!一、集群简介1、描述 Redis Cluster是一种服务器 Sharding 技术,3.0版本开始正式提供; Redis 的哨兵模式基本已经可以实现高可用,读写分离 ,但是在这.
原创
发布博客 2021.03.07 ·
278 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

第二部分:Redis数据库的三种模式(②:哨兵模式)

第二部分:Redis数据库的三种模式(②:主从复制)一、哨兵模式简介1、哨兵模式描述2、哨兵模式作用二、启用哨兵模式1、配置哨兵三、哨兵工作原理1、主从切换2、监控阶段3、通知阶段4、故障转移阶段以下是本篇文章正文内容,如有错误麻烦请指出。 谢谢 !!!一、哨兵模式简介1、哨兵模式描述 哨兵模式是一个分布式系统,是Redis的一种特殊模式。用于对主从结构中的每台服务器进行监控,当出现故障时通过投票机制选择新的Master并将所有Slave连接到新的Master; 哨兵是一个独立的进程,作.
原创
发布博客 2021.03.07 ·
370 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

第二部分:Redis数据库的三种模式(①:主从复制)

第二部分:Redis数据库的三种模式(①:主从复制)以下是本篇文章正文内容,如有错误麻烦请指出。 谢谢 !!!
原创
发布博客 2021.03.07 ·
355 阅读 ·
0 点赞 ·
1 评论 ·
0 收藏

第一部分:Redis数据库的简介与应用

第一部分:Redis数据库的简介与应用前言一、Redis简介1、NoSql 数据库2、不同数据库应对场景介绍3、Redis相关介绍二、Redis应用场景1、场景介绍2、八种不同应用场景说明3、不同数据类型应用的场景前言Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构,如 字符串(strings), 散列(hashes), 列表(lists), 集合(sets), 有序集合(sorted sets) 与范围查询, bi.
原创
发布博客 2021.02.21 ·
265 阅读 ·
0 点赞 ·
1 评论 ·
0 收藏

第八章、Hadoop之MapReduce框架原理(MapTask与ReduceTask工作机制)

一、MapTask工作机制1、MapTask工作机制示意图2、MapTask工作机制过程详解 (1)Read阶段:MapTask通过用户编写的RecordReader,从输入InputSplit中解析出一个个key/value。 (2)Map阶段:该节点主要是将解析出的key/value交给用户编写map()函数处理,并产生一系列新的key/value。 (3)Collect收集阶段:在用户编写map()函数中,当数据处理完成后,一般会调用OutputCollector.collect()输出
原创
发布博客 2020.05.26 ·
343 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

第七章、Hadoop之MapReduce框架原理(Shuffle机制)

一、简介1、介绍说明Map方法之后,Reduce方法之前的数据处理过程称之为Shuffle。2、Shuffle示意图二、Partition分区1、默认分区 问题引出要求将统计结果按照条件输出到不同文件中(分区)。比如:将统计结果按照手机归属地不同省份输出到不同的文件中。默认Partitioner分区public class HashPartitioner<K, V> extends Partitioner<K, V> { /** Use {@lin
原创
发布博客 2020.05.24 ·
402 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

第六章、Hadoop之MapReduce框架原理(MapReduce工作流程)

一、流程示意图1、MapReduce流程示意图12、MapReduce流程示意图2二、流程示意图详解 流程详解上面的流程是整个MapReduce最全工作流程,但是Shuffle过程只是从第7步开始到第16步结束,具体Shuffle过程详解,如下:1) MapTask收集我们的map()方法输出的kv对,放到内存缓冲区中2) 从内存缓冲区不断溢出本地磁盘文件,可能会溢出多个文件3) 多个溢出文件会被合并成大的溢出文件4) 在溢出过程及合并的过程中,都要调用Partitioner进行分区
原创
发布博客 2020.05.24 ·
509 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

第五章、Hadoop之MapReduce框架原理(InputFormat数据输入)

一、InputFormat数据输入1、切片与MapTask并行度决定机制 1. 问题引出MapTask的并行度决定Map阶段的任务处理并发度,进而影响到整个Job的处理速度。思考:1G的数据,启动8个MapTask,可以提高集群的并发处理能力。那么1K的数据,也启动8个MapTask,会提高集群性能吗?MapTask并行任务是否越多越好呢?哪些因素影响了MapTask并行度? 2. MapTask并行度决定机制数据块: Block是HDFS物理上把数据分成一块一块。数据切片: 数据切片只是在
原创
发布博客 2020.05.24 ·
409 阅读 ·
1 点赞 ·
0 评论 ·
1 收藏

第四章、Hadoop之MapReduce介绍与应用

一、MapReduce的概述1、定义2、MapReduce的优缺点 优点 缺点二、MapReduce的应用1、MapReduce核心思想的示意图步骤:1)分布式的运算程序往往需要分成至少2个阶段。2)第一个阶段的MapTask并发实例,完全并行运行,互不相干。3)第二个阶段的ReduceTask并发实例互不相干,但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。4)MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段,如果用户的业务逻辑非
原创
发布博客 2020.05.18 ·
456 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

第三章、Hadoop之HDFS的读写与操作

一、HDFS的读数据流程 补充一个问题当我们 NameNode 挂掉,SecondaryNameNode作为新的NameNode上位时,它确实可以根据fsimage.ckpt把一部分元数据加载到内存,可是如果这时还有一部分操作日志在edits new中没有执行怎么办? 解决方案其中一个解决方案就是利用一个network fileSystem来解决,比如说集群中有一个服务器安装了一个nfs server,而在NameNode上再安装一个nfs client,此时客户端向HDFS写数据时,同时把向ed
原创
发布博客 2020.05.15 ·
472 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

第二章、Hadoop之HDFS介绍与应用

一、
原创
发布博客 2020.05.15 ·
522 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

五、CDH5.16.2集群之集群的安装配置

说明:【一、CDH5.16.2集群之VMware-workstation-14安装】【二、CDH5.16.2集群之三台虚拟机安装】【三、CDH5.16.2集群之三台虚拟机配置网络配置】【四、CDH5.16.2集群之XShell连接虚拟机】一、集群前期配置1、安装JAVA(三台虚拟机都执行) 卸载自带的Java执行:rpm -qa | grep -i java 执行如下命令卸载上图中箭头所指的四个jdkrpm -e --nodeps java-1.8.0-openjdk-1.8.0
原创
发布博客 2020.05.14 ·
679 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

四、CDH5.16.2集群之XShell连接虚拟机

说明:VMware安装请查看之前【一、CDH集群之VMware-workstation-14安装】虚拟机安装请查看之前【二、CDH集群之三台虚拟机安装】【三、CDH集群之三台虚拟机配置网络配置】一、通过XShell连接三台虚拟机1、分别打开三台虚拟机终端,使用root用户2、修改主机名:(三台虚拟机都执行)hostnamectl set-hostname cdh13、更改hosts文件:(三台虚拟机都执行)通过vi /etc/hosts 添加如下三台虚拟机信息4、关闭防火墙,并查
原创
发布博客 2020.05.12 ·
778 阅读 ·
1 点赞 ·
0 评论 ·
3 收藏

三、CDH5.16.2集群之三台虚拟机配置网络配置

说明:VMware安装请查看之前【一、CDH集群之VMware-workstation-14安装】虚拟机安装请查看之前【二、CDH集群之三台虚拟机安装】一、虚拟机配置
原创
发布博客 2020.05.12 ·
806 阅读 ·
1 点赞 ·
0 评论 ·
4 收藏

二、CDH5.16.2集群之三台虚拟机安装

VMware安装请查看之前【一、CDH集群之VMware-workstation-14安装】一、虚拟的基本内存分配总共安装三台虚拟机,每台虚拟机的内存分配如下: 第一台:内存8G 第二台:内存8G 第三台:内存6G二、虚拟机安装1、打开VMware,并点击创建新的虚拟机2、选中“自定义”安装,并点击下一步3、根据提示点击下一步4、选择下载好的镜像文件并点击下一步5、设置信息6、虚拟机名称、安装位置都可以自己修改7、设置处理器信息并点击下一步8、设置虚拟机的内存大
原创
发布博客 2020.05.11 ·
891 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

一、CDH5.16.2集群之VMware-workstation-14安装

一、安装VMware-workstation-141、启动下载的VMware-workstation-14软件并点击下一步2、接收许可协议并点击下一步3、在“1”中修改安装目录并点击下一步4、在“1”中可以取消勾选不要检查版本更新并点击下一步5、勾选创建桌面快捷方式开始菜单程序文件夹并点击下一步6、点击安装并等待完成7、点击许可证8、输入秘钥CG54H-D8D0H-H8DHY-C6X7X-N2KG6,接着点击完成...
原创
发布博客 2020.05.10 ·
597 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

第一章、Hadoop应用简单介绍

一、大数据概念二、大数据的特点大量(Volume):顾名思义数据量非常大,达到TB级甚至EB级;高速(Velocity):在处理数据上的速度比较快,分布式的运算;多样性(Variety):在处理数据上可以处理结构化,非结构化的数据以及包括日志、音频、视频、地理位置等多类型的数据,比以往处理数据以文本和结构化的数据提出了更高的要求;价值密度(Value):通过大数据我们可以分析数我们想...
原创
发布博客 2020.05.08 ·
641 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏
加载更多