自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(24)
  • 收藏
  • 关注

原创 Element UI使用手册

Element UI 是一个流行的开源前端组件库,用于构建 Web 用户界面。它主要设计用于 Vue.js,这是一个渐进式的 JavaScript 框架。Element UI 提供了一套预设计和样式化的 UI 组件,开发人员可以轻松地将它们集成到他们的 Vue.js 应用程序中。这些组件包括按钮、表单、表格、模态框、导航菜单等,可以显著加快开发过程,帮助创建一致且外观吸引人的用户界面。Vue.js 集成:Element UI 特别设计为与 Vue.js 无缝集成,充分利用 Vue 的组件化架构。自定义。

2023-08-30 22:31:44 7567

原创 CSS小白手册

CSS代表层叠样式表(Cascading Style Sheets),它用于定义网页的外观和样式。CSS允许您控制字体、颜色、间距、边框等页面元素的外观,以及布局和排列方式。

2023-08-25 11:20:26 136

原创 登录页面常用的HTML标签以及它们的一些常见属性如下所示:

属性:value:定义选项的值,通常在提交表单时发送给服务器。

2023-08-25 10:27:10 793

原创 HTTP常用标签

这只是HTML标签和属性的一小部分,HTML有许多其他标签和属性可用于创建丰富和交互性的网页。根据您的需要,选择适当的标签和属性来实现您的设计和功能目标。

2023-08-25 10:12:09 380

原创 SQL所有关键字及其作用:

以下是MySQL的所有关键字及其作用:以下是MySQL的所有关键字及其作用:ADD:在表中添加新的列或索引。ALL:返回满足条件的所有行,包括重复行。ALTER:修改表的结构,如添加、修改或删除列。ANALYZE:分析并收集表的统计信息,用于优化查询。AND:用于多条件查询的逻辑运算符,要求同时满足所有条件。AS:用于给表、列或查询结果集指定别名。ASC:升序排列。ASCENSITIVE:指定列的排序规则为区分大小写。BEFORE:指定触发器在某个事件之前执行。BETWEEN:用于指定

2023-08-22 17:14:01 1651 2

原创 Vmware添加虚拟机

Windows10和Windows7操作系统的路径为C:\Windows\System32\drivers\etc\hosts。将/usr/local/zookeeper/分发到虚拟机slave01和slave02。在slave01和slave02节点上分别执行如下命令(下面以slave01为例)注意:一定要修改 vi /etc/hosts 文件改为自己的ip。其中”1“,”2“,”3“使myid,要求是1~255的整数。通过脚本在虚拟机master上同时启动,关闭虚拟机。为三个脚本拥有者添加执行权限。

2023-05-13 17:30:04 3018

原创 Spark sql通过 jdbc 连接MySQL数据库报错:java.sql.SQLException: Access denied for user ‘root‘@‘localhost‘ (usin

发现我的root@localhost的grant_priv 权限是NO。原来是我的root@localhost没有开启远程访问权限的权限。然后启动Hadoop和spark的相关进程,以及MySQL服务。用户“root”@“本地主机”的访问被拒绝(使用密码:是)再在spark-shell中通过下面命令连接MySQL。需要root@localhost开启远程访问权限。如上图所示已更改完成!

2022-10-29 15:41:53 2751

原创 10.Linux下Scala安装与配置

(1)安装Scala1.用Xfpt将Scala-2.11.8.tgz传到虚拟机中2.解压缩(2)配置Scala1.把scala命令添加到path环境变量中2.查询scala版本号(3)启动Scala本案例软件包:链接:

2022-10-23 19:05:27 1574

原创 13.Linux下sbt编译打包Spark程序 和 Maven编译打包Scala程序

README文件中包含“a”和“b”的行数,并打印结果。这段代码的作用是计算/usr/local/通过spark-submit运行程序。

2022-10-23 12:23:34 1422 2

原创 12.Linux下安装编译打包工具sbt和maven

如上图所示:安装完成!(1)安装sbt打包工具1.先用xftp将sbt.launch.jar传到home/hadoop/Downloads文件夹下,然后把sbt安装到/usr/local/sbt2.在/usr/local/sbt下创建sbt脚本:(2)安装maven用xftp将apache-maven-3.6.3-bin.zip 传到home/hadoop/Downloads文件夹下

2022-10-23 11:51:17 883 6

原创 11.Linux下Spark的安装配置以及spark-shell的启动和 Spark集群环境搭建

(1)安装Spark1.先用xftp将安装包传到home/hadoop/Downloads文件夹下,然后解压安装。2.解压缩:3. 更改文件夹名称:4.修改hadoop用户对文件夹spark的访问权限:(2)配置1.复制一份由Spark安装文件自带的配置文件模板:如图所示:返回结果:Pi is roughly 3.144115720578603。

2022-10-23 11:14:08 14689 8

原创 9.Linux下Hbase的安装配置(完全分布式)(伪分布式)(HA高可用)

完成此步骤需要1、配置独立的外部ZooKeeper集群,不使用HBase内置的ZooKeeper。2、由于依赖于HDFS存储数据,因此部署HBase的完全分布式之前必须有一个正常运行的HDFS集群。(Hadoop集群)以上两步没有配置的可以去我的另两篇博客配置Hadoop的完全分布式搭建ZooKeeper的完全分布式搭建。

2022-10-20 18:17:39 313

原创 7.Linux下Zookeeper的完全分布式的安装配置

由于每次启动和关闭Zookeeper集群都要在三台虚拟机分别进行,效率较低,我们可以在master节点编写启动脚本。分别在slave01和slave02的zookeeper文件夹下执行以下命令。其中”1“,”2“,”3“使myid,要求是1~255的整数。在master,slave01,slave02分别执行以下代码。(2)使用jps命令查看Zookeeper进程是否启动。(3)当启动成功,查看zookeeper状态失败。(1)查看Zookeeper服务器的启动状态。执行xzk-start.sh如图所示。

2022-10-16 21:31:18 611 1

原创 8.Linux下Hive以及MySQL的安装与配置

这时分别打开hadoop文件夹下/share/hadoop/common/lib和hive文件夹下/lib路径,输入命令ll看一下guava.jar版本号是否一致,如果不一致,删除其中低版本,将高版本拷贝过去重新启动hive即可。然后在/usr/local/hadoop/share/hadoop/common/lib下执行。通过对比发现hive下的guava.jar的版本号低一些,然后删除低版本。如果出现下图报错,记住版本号(图中标出了)输入如下代码。查看hive下的guava.jar。

2022-10-16 19:40:33 2079 4

原创 6.Linux下配置Hadoop集群之完全分布式配置

否则,需要查看命令是否正确,或此前Hadoop 集群的安装和配置是否正确。此外需要注意的是,上述格式化命令只需要在Hadoop集群初次启动前执行一次即可,后续重复启动时不需要执行格式化。在配置上述文件中,HDFS数据块的副本数量(默认值为3)其中配置了Secondarynamenode,namenode所在的主机IP和端口,HDFS块的副本数和临时文件存放的目录。配置了HDFS的主进程NameNode运行主机(Hadoop集群主节点),还有Hadoop集群运行时生成数据的临时目录。

2022-10-15 20:23:50 2126

原创 5.Linux下配置Hadoop集群之安装JDK及Hadoop

执行命令source /etc/profile使配置文件生效。执行命令source /etc/profile使配置文件生效。执行命令,若显示版本信息,说明JDK安装和配置成功。如图所示:JDK版本号可以看到了,JDK安装完成。将JDK解压到了/usr/local/文件夹。查看Hadoop安装路径,输出以下信息即为正确。至此JDK和Hadoop的安装成功。打开~/.bashrc文件夹。打开profile文件。执行命令使配置文件生效。在PATH路径后添加。

2022-10-15 16:58:08 427

原创 4.Linux下配置Hadoop集群之SSH免密服务配置及Xshell与Xftp的连接使用

使用su root进入root账户,再使用vi /etc/sudoers对/etc/sudoers文件夹进行修改。保存退出root,修改成功之后再以hadoop账户登录就可以使用sudo命令了(可以在三台虚拟机都执行此操作)。在下面找到root ALL=(ALL) ALL这一行代码,在下方添加hadoop ALL=(ALL) ALL。(1)分别删除虚拟机master,slave01,slave02的~/.ssh 目录。左上角鼠标左键点击文件,点击新建。左上角鼠标左键点击文件,点击新建。

2022-10-14 20:54:31 1468

原创 3.Linux下配置Hadoop集群之从节点(slave01,slave02)网络配置

(1)虚拟机克隆vi /etc/sysconfig/network-scripts/ifcfg-eth0vi /etc/udev/rules.d/70-persistent-net.rules正常接收数据,并且延迟正常,说明网络连接正常。至此,虚拟机网络配置完毕。

2022-10-14 19:25:28 2114

原创 2.Linux下配置Hadoop集群之主节点(master)网络配置

(1)点击虚拟机左上角编辑选中虚拟网络编辑器(2)网络参数配置

2022-10-14 18:10:11 2536 1

原创 1.在window10下安装Vm ware16 及安装Centos虚拟机

更改自己的存储位置:建议放到D盘里 可选可不选: 然后重启电脑:打开vmware16点击创建新的虚拟机:选择自定义,然后下一步选择安装程序:找到自己下载的文件夹的位置(选择DVD.iso文件)定义Linux的主机名为master用户名为:hadoop并设置密码: 然后在D盘中新建文件夹master,slave01,slave02。分别存放3台虚拟机。 建议设置磁盘大小为20G 安装完成:点击开启虚拟机: 开始安装Centos,静静等待!!!加载完镜像:计算机自启虚拟机。(无需操作,自动运行)启动完成:选

2022-10-14 17:00:09 727

原创 主节点连接hiveserver2报错Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop01:10000:

在hdfs-site.xml中,属性值默认为0.999f,如果设为1则不进行安全检查。确定以上都没问题后再次 使用 hive 命令进入hive,看是否还是拒绝连接。集群没有启动,或者防火墙,selinux没关,集群处于安全模式。关闭 防火墙 selinux 具体方法自己百度。通过bin/hiveserver2 启动hive2。然后再打开一个新的终端,进去到hive的安装路径。输入命令:bin/beeline 连接hive2。说明我的集群处于安全模式,我要退出安全模式。我这里采用了临时关闭集群安全模式。

2022-09-21 10:47:32 4681

原创 使用sqoop命令报错ERROR mapreduce.ExportJobBase: Export job failed ERROR tool.ExportTool: Error during exp

如图所示:仔细查看错误信息会发现有下面一条:2022-07-10 20:17:39,786 INFO mapreduce.Job: Job job_1657447073157_0042 running in uber mode : false2022-07-10 20:17:39,787 INFO mapreduce.Job: map 0% reduce 0%2022-07-10 20:17:47,083 INFO mapreduce.Job: map 25% reduce 0%2022-07-1

2022-07-10 23:07:26 4968 1

原创 Hive连接MySQL数据库测试报错

sqoop-1.4.7测试命令如下:sqoop list-databases --connect jdbc:mysql://192.168.223.141:3306/ --username root --password root192.168.223.141:slave01的IPADDR3306:连接数据库的端口--username root --password root:连接数据库的账户和密码报错截图如下: 一共显示两个错误信息:...

2022-07-04 21:10:32 1432

原创 hadoop用户和root用户所用sudo命令报错

[root@master Desktop]# sudosudo: /usr/libexec/sudoers.so must be owned by uid 0 ##必须由 uid 0 拥有sudo: fatal error, unable to load plugins ##致命错误,无法加载插件这里提一下:UID---用户标识号,

2022-06-22 09:50:33 1718

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除