- 博客(17)
- 收藏
- 关注
RSS订阅原创 Hive的数据导入和导出
-f 直接执行sql脚本文件，结果通过linux的重定向符号写入到指定的文件中。# -e 直接执行sql语句，结果通过linux的重定向符号写入到指定的文件中。// 如果数据在本地，需要带local，如果在hdfs就不用带了。// 这个加载方式不会走mapreduce，小文件导入更快。// 如果数据在hdfs中，源文件会消失。通过insert overwrite语句。// 不带local 写入hdfs。overwrite是指是否覆盖。这里在/usr上传一个数据文件。// 带local 写入本地。
2024-09-19 20:46:06
346
原创 Hive的内部表和外部表
创建语法：create external table test_ext1(id int,name string) row format delimited fields terminated by '\t' location '/tmp/test_ext1';首先检查：hadoop fs -ls /tmp，确定不存在/tmp/test_ext1目录。select * from test_ext1，即可看到数据结果。test_external.txt（这是已经存储数据的文件）2.先存数据再创建表。
2024-09-19 16:15:38
277
原创 HDFS的读写流程和核心概念
ACK就是确定字符，在HDFS管道传输数据过程中，传输的反方向会进行ACK校验，确保数据传输安全。客户端把数据穿个第一个Datanode，然后第一个datanode传给第二个。请求NameNode挑出适合存储数据副本的一组DataNode地址。如果上一级没有收到ACK响应或者收到的不全就可以再传输一次。5.传输的反方向上，会通过ACK机制校验数据包传输是否成功。这是HDFS在上传文件写数据过程中采用的一种数据传输方式。4.客户端写入数据时，将数据分成一个个数据包（输出流输出流上调用close()方法关闭。
2024-09-09 22:39:23
215
原创 HDFS集群个角色职责介绍和梳理
主角色：NamenodeNameNode维护和管理文件系统元数据，包括文件的信息，块的位置和访问权限。NameNode是访问HDFS的唯一入口。
2024-09-09 22:14:49
224
原创 关于Hadoop中MapReduce的执行过程详解
默认 切片大小 等于 Block大小（128M），每个切片都由一个Map处理，如果不满128也算作一个切片交由Map处理。按照一定的规则对Map输出的键值分区，默认不分区，因为只有一个reducetask分区的数量就是reducetask运行的数量。，每读一行就封装程一个的键值对（默认读数据类：TextInputFormat）对切片中的数据按照一定的规则读取并返回对。把输入目录下的文件按照一定的标准进行逻辑切片，形成切片规则。第三阶段：对排序后的键值对。
2024-09-09 20:42:35
445
原创 在Linux上搭建Hadoop3.1.1
通过克隆获得三台虚拟机准备工作：时间同步、时区调整、JDK1.8环境、配置主机名、关闭防火墙、配置静态IP无特别说明，三台虚拟机都要完成准备工作。
2024-09-09 17:27:26
851
原创 关于Redis缓存穿透和雪崩一个文章彻底搞懂
产生雪崩的原因之一，比如写文本的时候，马上要双十一零点，很快就要引来一波抢购，这波商品时间比较集中的放入了缓存，假设缓存一小时。那么到零点的时候，这批商品的访问查询，都落到了数据库上，对数据库而言，就会产生周期性的压力波峰。缓存穿透的概念很简单，用户想要查询一个数据，发现redis内存数据库没有，也就是缓存没有命中，于是向持久层数据库查询，发现也没有，于是本次查询失败。当大量用户同时访问某一个热点，当这个热点的key在失效的瞬间，持续的大并发就击穿缓存，直接请求数据库，就像在屏障上凿开一个动。
2024-09-04 21:22:21
360
原创 Redis哨兵模式概念和原理
当后面别的哨兵也检测到主服务器不可用，并且数量达到一定值时，那么哨兵之间就会进行一次投票，进行failover【故障转移】操作，切换成功后，就会通过发布订阅模式，让各个哨兵把自己监控的从服务器实现切换主机，这个过程称为。当一个哨兵检测到主服务器挂了，并不会马上进行failover过程，仅仅一个哨兵主观认为主服务器不可用，这个过程称为。同时为了防止哨兵挂了，我们需要配置多个哨兵进行监控，各个哨兵之间会进行监控，这样形成了多哨兵模式。当哨兵检测到主服务器挂了，会自动将从服务器切换成主，然后通过。
2024-09-04 20:42:29
262
原创 128gU盘变成了32g怎么办？
输入 format fs=ntfs quick 并按回车键，快速格式化分区为NTFS文件系统。输入 select disk X 并按回车键，将X替换为U盘的磁盘编号。例如，如果你的U盘是Disk 1，那么输入 select disk 1。输入 list disk 并按回车键，查看当前连接的磁盘。根据磁盘大小和其他信息，识别出你的U盘所在的磁盘编号（例如：Disk 1）。在命令提示符窗口中输入 diskpart 并按回车键，进入Diskpart工具。输入 exit 并按回车键，退出Diskpart工具。
2024-09-04 19:05:38
226
原创 Redis的发布与订阅
消息是由发布者发送给订阅者的数据。redis中的发布订阅模式，是一种消息传递模式，可用于实现多个客户端之间的实时消息通信。在这种模式下，消息发送者称为发布者，而接收消息的客户端称为订阅者。频道是消息的通道，发布者通过指定频道来发布消息，订阅者通过订阅频道来接收相关消息。所有订阅同一频道的订阅者都会收到此消息。如果生产者生成的速度远远大于消费者消费的速度，易堆积大量未消费的消息。基于频道(Channel)的发布/订阅。基于模式(pattern)的发布/订阅。命令将消息发布到指定的频道。
2024-09-04 15:55:20
494
原创 搭建Redis集群
新的的命令：redis-cli --cluster create 192.168.40.101:7000 192.168.40.101:7001 192.168.40.101:7002 192.168.40.101:7003 192.168.40.101:7004 192.168.40.101:7005 --cluster-replicas 1。- cluster-config-file nodes-7000.conf //集群节点配置文件。2.默认情况下该节点就是以master节点形式添加。
2024-08-30 21:55:41
716
原创 Redis的特点以及Redis数据库相关指令
只要是单纯的使用redis-server启动的话，都会去编译好的目录下找到一个叫做redis.conf的文件去启动，即便是修改了端口号，也是只能启动一个redis服务。Redis单线程,单进程 由于是单线程和单进程的，所以它的线程是安全的，我们之前说的java中的多线程安全在分布式中不起作用，当时只针对一个JVM中是有效的。- 作用 : 这个命令和EXPIRE 命令的作用类似，但是它以毫秒为单位设置key 的生存时间，而不像EXPIRE 命令那样，以秒为单位。特殊符号用 "\" 隔开。
2024-08-30 19:41:39
770
原创 Redis持久化机制
两种持久化方案既可以同时使用(aof),又可以单独使用,在某种情况下也可以都不使用,具体使用那种持久化方案取决于用户的数据和应用决定。无论使用AOF还是快照机制持久化,将数据持久化到硬盘都是有必要的,除了持久化外,用户还应该对持久化的文件进行备份(最好备份在多个不同地方)。
2024-08-30 19:34:00
1013
原创 关于Redis的安装连接和配置（虚拟机）
3.将下载redis资料包上传到Linux中（复制粘贴到linux下指定目录）一定要在Makefile文件的同目录下使用下面的命令对redis做编译。5.安装gcc（因为redis的底层是由c语言编写的）9.Redis服务端口默认是 6379（查看运行状态）下载完整源码包：redis-7.0.0.tar.gz。8.进入/usr/redis目录启动redis服务。10.进入bin目录执行客户端连接操作。如果是在一台机器上，可以省略后面的。6.进入解压目录执行如下命令。2.下载redis源码包。
2024-08-29 20:18:32
707
原创 如何使用Git上传和拉取代码
1.在IDEA中设置Git，在File --> Setting --> Version Control --> Git --> Path to Git executable选择你的git安装 后的git.exe文件，然后点击Test，测试是否设置成功。从工作区git add xx/xx/xxx到暂存区git commit -m到本地仓库git push xxx上传代码到码云。4将项目提交至本地仓库，使用git commit -m 备注命令。保存到本地仓库有三个步骤：add，commit，push。
2024-08-28 20:05:55
617
原创 Maven学习
使用maven之前自行在网络中下载jar包，效率较低。使用maven之后，统一在一个地址下载资源jar包【阿里云镜像等。使用maven之后，jar包统一储存maven本地仓库，使用坐标方式将jar包从仓库引入到项目中。使用maven之前，将jar复制到项目工程中，jar包添加到项目中，相对浪费存储空间。找到下载maven文件目录，找到settings.xml（conf中）文件，用记事本打开。设置本地仓库【默认：C：/用户家目录/.m2/repository】7.将maven整合到IDEA中。
2024-08-28 10:15:23
324
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人