- 博客(23)
- 收藏
- 关注
原创 EXCEL数据导入HIVE
四、将test.txt文件上传至虚拟机的Linux环境中,同时在hive里新建Test数据表(已经建库),输入建表语句的时候务必注意对应字段的类型必须相同。本文将论述如何将Windows本地的excel表数据,导入到虚拟机Linux系统中的Hadoop生态中的Hive数据仓库中。至此,完成excel表数据传入Hive的所有操作。二、将清洗后的excel表的数据另存为txt格式,也可以在hive中输入HQL语句查看。
2024-06-17 16:14:13
900
原创 日志信息有哪些分类
WARNING:警告,未来存在一些问题,但这个程序还能按预期工作。CRITICAL:一个严重的错误,这表明程序本身可能无法继续运行。ERROR:存在问题,程序报错,程序没能执行一些功能。DEBUG:详细的信息,通常只出现在诊断问题上。INFO:确认一切按预期运行。
2024-03-31 14:11:46
189
原创 Windows下安装使用Squirrel
SQuirrel SQL Client是一个用Java写的数据库客户端,用JDBC统一数据库访问接口以后,可以通过一个统一的用户界面来操作MySQL PostgreSQL MSSQL Oracle等等任何支持JDBC访问的数据库。从网址http://www.squirrelsql.org/下载相应版本的squirrel的安装jar包,比如下载squirrel-sql-4.1.0-standard.jar。至此,Windows系统中的squirrel安装完成,并且已经成功配置与HBASE的连接。
2024-03-28 12:48:05
924
原创 Phoenix伪分布安装
Phoenix是构建在HBase上的一个SQL层,能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表,插入数据和对HBase数据进行查询。tables 命令,列出所有表到客户端界面(注意: 通过该客户端展示出来的表都是 通过 Phoenix 客户端创建的,通过其他方式创建的表在此处不显示),作为HBase内嵌的JDBC驱动。5.将phoenix的bin目录下配置文件hbase-site.xml文件中的内容追加到hbase的配置文件hbase-site.xml中(为了允许启用二级索引。
2024-03-27 11:16:19
495
原创 Kerberos 5安装与使用
Kerberos中一些常见概念需要了解:1.KDCKey Distribute Center):密钥分发中心,负责存储用户信息,管理发放票据。2.Realm:Kerberos所管理的一个领域或范围,称之为一个Realm。3.Rrincipal:Kerberos所管理的一个用户或者一个服务,可以理解为Kerberos中保存的一个账号,其格式通常如下:primaryinstancerealm4.keytab:Kerberos中的用户认证,可通过密码或者密钥文件证明身份,keytab指密钥文件。
2024-03-18 09:32:46
1148
原创 解决MySQL密码无法设置问题
当我们第一次在Linux中安装好MySQL服务后,使用如下命令可以查看第一次进入MySQL的临时密码。但是我们如何修改它为自己想要的永久MySQL密码呢?在修改过程中出现的密码太短的问题如何解决呢?
2024-03-17 13:48:48
766
1
原创 HIVE伪分布安装
五、安装元数据库 Hive 高版本启动时,需要配置元数据库,如果采用其它数据库,请酌情替换对应步骤,这里采用 MYSQL 作为元数据库。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,类似于RDBMS(关系型数据库,如MySQL、Oracle、PgSQL),并提供类SQL的查询功能。一、将apache-hive-2.3.9-bin.tar.gz上传到主节点/opt/download目录下,切换到该目录,解压到/opt/software/hadoop目录下。
2024-03-10 13:56:38
1259
1
原创 构建SpringBoot项目中Pom.xml文件的MySQL5的配置以及坐标
<dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.47</version></dependency>
2024-03-08 09:26:51
698
1
原创 Socket是什么?
在计算机网络中的含义:不同主机的应用程序(进程)进行双向通信的端口的抽象,Socket的本质是编程接口(API),对TCP/IP的封装,使TCP/IP协议栈为应用程序提供服务。其包含五种网络通信的必要信息:1.连接使用的协议(TCP/IP等等),2.本地主机的IP,3.本地主机中通信进程的端口,4.远程主机的IP,5.远程主机中通信的进程端口。Socket是TCP/IP协议通信中的最小单元。在英语中的含义:n.插座、窝、槽;
2024-02-29 12:39:41
403
原创 Microsoft Word 2021无故出现排版混乱解决办法
在打开的文件路径中,找到“Normal.dotm”模板文件,鼠标右键单击选择“删除”。原因:Microsoft Word 2021默认模板文件造成。解决:WIN+R打开运行窗口,输入。
2024-02-27 13:20:58
947
转载 Spark与Hive整合
实现上述步骤包含两点:1.MetaStore需要存在并开机。2.Spark知道MetaStore的IP和端口号。成功进入后,输入 spark.sql("show databases").show() 查看数据库。执行以下命令将连接驱动包拷贝到spark的jars目录下,若是完全分布式安装,则三台机器都要进行拷贝。打开虚拟机登录节点,执行以下命令来拷贝hive-site.xml到所有的spark安装服务器上面去。Spark连接上Hive的MetaStore。P.s.若安装Hive时启动过该服务则略过。
2024-02-21 14:43:16
201
原创 基于Centos7的Linux Shell(含Hadoop shell)
说明:(-z:调用gzip指令,-c:create新建tar文件,-x:extract解压tar文件,-v:verbose显示运行过程信息,-f:file指定文件名)(例:mv /root/test/aa /root/test/bb cp /root/test/aa /root/test/bb)(例:tar -zxvf /root/test.tar.gz -C /home/samsung )(例:tar -zPcvf /home/samsung/test.tar /root/test)
2024-02-21 14:23:51
809
原创 HBase2.1伪分布安装
HBase是依赖HDFS的分布式、可伸缩的Hadoop数据库,在HBase上操作的数据存储在HDFS中,HBase是NoSQL型数据库,它与Hive不同,Hive是数仓,底层是依赖mapreduce处理数据,有延迟性,适合离线计算;而HBase是可以处理海量的实时数据的。参照我前面写的Hadoop伪分布安装完成后,需要下载:hbase-2.1.0-bin.tar.gz(CSDN上有该资源,我无法重复上传),HBase也必须建立在Hadoop正常启动的基础上。至此,所有的HBase的伪分布的环境配置完毕。
2024-02-17 15:45:04
553
1
原创 Hadoop3.3伪分布式安装部署
初始化之前,cd /opt/hadoop-3.3.2/sbin/,进入 sbin 目录,在 start-dfs.sh,stop-dfs.sh, start-yarn.sh,stop-yarn.sh 四个文件顶部添加参数,之后就可以使用 root 账号登陆 hdfs 和 yarn 了。#如果本机没有登录过其他机器时,本地是没有/root/.ssh 文件夹的,只需要:ssh master 登录一次,就会自动创建了。配置该文件,指定HDFS保存数据的副本数量,伪分布模式下只有一个节点,所以此处为:1。
2024-02-07 21:38:11
1206
1
原创 VMware安装centos7系统教程
输入密码,密码同样没有回显功能,输入正确后直接回车,在接下来提示是否记住密码时,选择No,则是不必记忆,YES则需要保存密码,并设置一个密码去保护已记录的密码,按照个人需求选择。指定该虚拟机磁盘容量,并选择“将虚拟磁盘拆分成多个文件”,拆分磁盘后,可以更轻松地在计算机之间移动虚拟机,但可能会降低大容量磁盘的性能。设置虚拟机名字和安装位置,名字可以随时修改,但安装位置请谨慎选择,后续难以变动,下一步。下载安装VMware16后,点击“创建新的虚拟机”,选择“典型”,下一步;
2024-01-25 15:35:48
1055
原创 ETL——Kettle在2个不同操作系统中自动化实现作业调度
这两个脚本就是分别在Windows和Linux下执行的批处理文件。首先我们要明白一个用来定期执行程序的Linux shell——crontab,该命令的语法简要叙述如下:牢记分 时 日 月 周——>* * * * * 需要执行的脚本路径。综上所述,我们只需要将上面在Windows中编辑的Kitchen.bat做相关修改,使其在Linux中运行,并用crontab进行自动化调度即可。将不同程序组成在一起成为一个作业集(job),并为每个作业分配必要的资源,调度它们的执行,以便在一定时间内完成该作业集。
2024-01-24 15:19:45
733
原创 ETL——kettle工具中成功运行kjb后,控制台出现的I=0,O=0,R=0,W=1,U=0,E=0;这些字母表示的含义
如题所见,本篇文章主要解释kettle工具中成功运行kjb后,控制台出现的I=0,O=0,R=0,W=1,U=0,E=0;这些字母大写分别对应着:Input,Output,Read,Write,Update,Error。
2024-01-22 21:59:01
628
原创 微软Edge浏览器提升下载速度方法
可免费试用三十天,建议使用上述第一种方法提升edge下载速度。最后点击右上角的restart all即可。Edge浏览器是自带。
2024-01-20 15:16:56
4882
原创 启动Hive时报hdfs安全模式相关错误以及解决办法
2.1 查看上述日志中的提示信息:Safe mode will be turned off automatically in 5 seconds.2.接着执行健康检查,删除损坏的块(block):hdfs fsck / -delete。1.首先退出安全模式:hadoop dfsadmin -safemode leave。执行后再次启动hive即会成功,该方法也适用于其他Hadoop生态组件。五秒后再次启动hive,该HDFS安全模式会自动关闭。
2024-01-17 14:17:25
825
原创 MySQL插入时间戳timestamp的方法
alter table 表名 modify column create_time timestamp default current_timestamp;alter table 表名 add column create_time timestamp default current_timestamp;create table 表名(create_time timestamp default current_timestamp);在MySQL表中加入时间戳timestamp分下列三种基本情况。
2024-01-15 14:35:20
1090
原创 ETL——常用工具kettle
ETL:extract(提取)——>transform(转换、该步可省略)——>load(装载),本篇文章将介绍企业中ETL常用工具——kettle(壶)Kettle是一款国外绿色开源免费的ETL工具,纯java编写(安装前请先配置jdk),可以在Window、Linux、Unix上运行,数据抽取高效稳定,该软件名副其实,它的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。
2024-01-14 15:14:30
520
原创 关于查看以VMware为容器打开centos7系统的虚拟机的配置信息
此时若再次点击该页面左上角的查看——控制台试图,即可返回维持虚拟机占据全屏的状态。如题,本篇博客将介绍。
2024-01-13 15:45:30
481
1
原创 基于Centos7的Linux内核系统的相关操作命令
首先简单介绍一下两者关系:CentOS是系统(虚拟机,需要在VMware的容器中运行);Linux是系统内核(核心kernel)。
2024-01-09 21:51:29
997
怎么查看虚拟机详细信息,我只有在没开机的状态下才能看到你第一张图,开机后怎么查看这张图
2023-04-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人