数据科学or大数据技术-CSDN博客

原创日志信息有哪些分类

WARNING：警告，未来存在一些问题，但这个程序还能按预期工作。CRITICAL：一个严重的错误,这表明程序本身可能无法继续运行。ERROR：存在问题，程序报错，程序没能执行一些功能。DEBUG：详细的信息,通常只出现在诊断问题上。INFO：确认一切按预期运行。

2024-03-31 14:11:46 136

SQuirrel SQL Client是一个用Java写的数据库客户端，用JDBC统一数据库访问接口以后，可以通过一个统一的用户界面来操作MySQL PostgreSQL MSSQL Oracle等等任何支持JDBC访问的数据库。从网址http://www.squirrelsql.org/下载相应版本的squirrel的安装jar包，比如下载squirrel-sql-4.1.0-standard.jar。至此，Windows系统中的squirrel安装完成，并且已经成功配置与HBASE的连接。

2024-03-28 12:48:05 739

原创 Phoenix伪分布安装

Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据进行查询。tables 命令，列出所有表到客户端界面（注意：通过该客户端展示出来的表都是通过 Phoenix 客户端创建的，通过其他方式创建的表在此处不显示），作为HBase内嵌的JDBC驱动。5.将phoenix的bin目录下配置文件hbase-site.xml文件中的内容追加到hbase的配置文件hbase-site.xml中（为了允许启用二级索引。

2024-03-27 11:16:19 457

原创 Kerberos 5安装与使用

Kerberos中一些常见概念需要了解：1.KDCKey Distribute Center）：密钥分发中心，负责存储用户信息，管理发放票据。2.Realm：Kerberos所管理的一个领域或范围，称之为一个Realm。3.Rrincipal：Kerberos所管理的一个用户或者一个服务，可以理解为Kerberos中保存的一个账号，其格式通常如下：primaryinstancerealm4.keytab：Kerberos中的用户认证，可通过密码或者密钥文件证明身份，keytab指密钥文件。

2024-03-18 09:32:46 1048

原创解决MySQL密码无法设置问题

当我们第一次在Linux中安装好MySQL服务后，使用如下命令可以查看第一次进入MySQL的临时密码。但是我们如何修改它为自己想要的永久MySQL密码呢？在修改过程中出现的密码太短的问题如何解决呢？

2024-03-17 13:48:48 535 1

原创 HIVE伪分布安装

五、安装元数据库 Hive 高版本启动时，需要配置元数据库，如果采用其它数据库，请酌情替换对应步骤，这里采用 MYSQL 作为元数据库。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，类似于RDBMS(关系型数据库，如MySQL、Oracle、PgSQL)，并提供类SQL的查询功能。一、将apache-hive-2.3.9-bin.tar.gz上传到主节点/opt/download目录下，切换到该目录，解压到/opt/software/hadoop目录下。

2024-03-10 13:56:38 1194 1

原创构建SpringBoot项目中Pom.xml文件的MySQL5的配置以及坐标

<dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.47</version></dependency>

2024-03-08 09:26:51 408 1

原创 Socket是什么？

在计算机网络中的含义：不同主机的应用程序（进程）进行双向通信的端口的抽象，Socket的本质是编程接口(API)，对TCP/IP的封装，使TCP/IP协议栈为应用程序提供服务。其包含五种网络通信的必要信息：1.连接使用的协议（TCP/IP等等），2.本地主机的IP，3.本地主机中通信进程的端口，4.远程主机的IP，5.远程主机中通信的进程端口。Socket是TCP/IP协议通信中的最小单元。在英语中的含义：n.插座、窝、槽；

2024-02-29 12:39:41 370

原创 Microsoft Word 2021无故出现排版混乱解决办法

在打开的文件路径中，找到“Normal.dotm”模板文件，鼠标右键单击选择“删除”。原因：Microsoft Word 2021默认模板文件造成。解决：WIN+R打开运行窗口，输入。

2024-02-27 13:20:58 460

转载 Spark与Hive整合

实现上述步骤包含两点：1.MetaStore需要存在并开机。2.Spark知道MetaStore的IP和端口号。成功进入后，输入 spark.sql("show databases").show() 查看数据库。执行以下命令将连接驱动包拷贝到spark的jars目录下，若是完全分布式安装，则三台机器都要进行拷贝。打开虚拟机登录节点，执行以下命令来拷贝hive-site.xml到所有的spark安装服务器上面去。Spark连接上Hive的MetaStore。P.s.若安装Hive时启动过该服务则略过。

2024-02-21 14:43:16 43

原创基于Centos7的Linux Shell（含Hadoop shell）

说明：（-z:调用gzip指令，-c:create新建tar文件，-x:extract解压tar文件，-v:verbose显示运行过程信息，-f：file指定文件名）(例：mv /root/test/aa /root/test/bb cp /root/test/aa /root/test/bb)(例：tar -zxvf /root/test.tar.gz -C /home/samsung )(例：tar -zPcvf /home/samsung/test.tar /root/test)

2024-02-21 14:23:51 778

原创 HBase2.1伪分布安装

HBase是依赖HDFS的分布式、可伸缩的Hadoop数据库，在HBase上操作的数据存储在HDFS中，HBase是NoSQL型数据库，它与Hive不同，Hive是数仓，底层是依赖mapreduce处理数据，有延迟性，适合离线计算；而HBase是可以处理海量的实时数据的。参照我前面写的Hadoop伪分布安装完成后，需要下载：hbase-2.1.0-bin.tar.gz（CSDN上有该资源，我无法重复上传），HBase也必须建立在Hadoop正常启动的基础上。至此，所有的HBase的伪分布的环境配置完毕。

2024-02-17 15:45:04 475 1

原创 Hadoop3.3伪分布式安装部署

初始化之前，cd /opt/hadoop-3.3.2/sbin/，进入 sbin 目录，在 start-dfs.sh，stop-dfs.sh， start-yarn.sh，stop-yarn.sh 四个文件顶部添加参数，之后就可以使用 root 账号登陆 hdfs 和 yarn 了。#如果本机没有登录过其他机器时，本地是没有/root/.ssh 文件夹的，只需要：ssh master 登录一次，就会自动创建了。配置该文件，指定HDFS保存数据的副本数量，伪分布模式下只有一个节点，所以此处为：1。

2024-02-07 21:38:11 1035 1

原创 VMware安装centos7系统教程

输入密码，密码同样没有回显功能，输入正确后直接回车，在接下来提示是否记住密码时，选择No，则是不必记忆，YES则需要保存密码，并设置一个密码去保护已记录的密码，按照个人需求选择。指定该虚拟机磁盘容量，并选择“将虚拟磁盘拆分成多个文件”，拆分磁盘后，可以更轻松地在计算机之间移动虚拟机，但可能会降低大容量磁盘的性能。设置虚拟机名字和安装位置，名字可以随时修改，但安装位置请谨慎选择，后续难以变动，下一步。下载安装VMware16后，点击“创建新的虚拟机”，选择“典型”，下一步；

2024-01-25 15:35:48 1016

原创 ETL——Kettle在2个不同操作系统中自动化实现作业调度

这两个脚本就是分别在Windows和Linux下执行的批处理文件。首先我们要明白一个用来定期执行程序的Linux shell——crontab，该命令的语法简要叙述如下：牢记分时日月周——>* * * * * 需要执行的脚本路径。综上所述，我们只需要将上面在Windows中编辑的Kitchen.bat做相关修改，使其在Linux中运行，并用crontab进行自动化调度即可。将不同程序组成在一起成为一个作业集（job），并为每个作业分配必要的资源，调度它们的执行，以便在一定时间内完成该作业集。

2024-01-24 15:19:45 517

原创 ETL——kettle工具中成功运行kjb后，控制台出现的I=0，O=0，R=0，W=1，U=0，E=0；这些字母表示的含义

如题所见，本篇文章主要解释kettle工具中成功运行kjb后，控制台出现的I=0，O=0，R=0，W=1，U=0，E=0；这些字母大写分别对应着：Input，Output，Read，Write，Update，Error。

2024-01-22 21:59:01 433

原创微软Edge浏览器提升下载速度方法

可免费试用三十天，建议使用上述第一种方法提升edge下载速度。最后点击右上角的restart all即可。Edge浏览器是自带。

2024-01-20 15:16:56 1347

原创启动Hive时报hdfs安全模式相关错误以及解决办法

2.1 查看上述日志中的提示信息：Safe mode will be turned off automatically in 5 seconds.2.接着执行健康检查，删除损坏的块（block）：hdfs fsck / -delete。1.首先退出安全模式：hadoop dfsadmin -safemode leave。执行后再次启动hive即会成功，该方法也适用于其他Hadoop生态组件。五秒后再次启动hive，该HDFS安全模式会自动关闭。

2024-01-17 14:17:25 551

原创 MySQL插入时间戳timestamp的方法

alter table 表名 modify column create_time timestamp default current_timestamp;alter table 表名 add column create_time timestamp default current_timestamp;create table 表名(create_time timestamp default current_timestamp);在MySQL表中加入时间戳timestamp分下列三种基本情况。

2024-01-15 14:35:20 649

原创 ETL——常用工具kettle

ETL：extract（提取）——>transform（转换、该步可省略）——>load（装载），本篇文章将介绍企业中ETL常用工具——kettle（壶）Kettle是一款国外绿色开源免费的ETL工具，纯java编写（安装前请先配置jdk），可以在Window、Linux、Unix上运行，数据抽取高效稳定，该软件名副其实，它的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。

2024-01-14 15:14:30 474

原创关于查看以VMware为容器打开centos7系统的虚拟机的配置信息

此时若再次点击该页面左上角的查看——控制台试图，即可返回维持虚拟机占据全屏的状态。如题，本篇博客将介绍。

2024-01-13 15:45:30 399 1

原创基于Centos7的Linux内核系统的相关操作命令

首先简单介绍一下两者关系：CentOS是系统（虚拟机，需要在VMware的容器中运行）；Linux是系统内核（核心kernel）。

2024-01-09 21:51:29 934

Whisperya6的博客