![](https://img-blog.csdnimg.cn/a56f8206c158432197961c5267fbb846.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据技术学习分享
文章平均质量分 52
kettle、centos、hadoop
提着垃圾袋的
这个作者很懒,什么都没留下…
展开
-
hadoop集群 Web 页面在linux中可以访问到,但是在本地访问不了
【注】1、当我们成功启动集群之后,发现在Linux中可以打开Web页面,而在本地却打不开。这是因为你没有关闭防火墙。问题描述解决方案1、查看防火墙状态:systemctl status firewalld.service2、关闭防火墙 systemctl stop firewalld.service...原创 2022-05-14 10:36:18 · 727 阅读 · 0 评论 -
hadoop3.0 启动后输入 jps没有进程
【注】1、启动集群之后,输入jps,发现没有任何返回。原因就是你的JDK版本不对。其次hadoop集群格式化完成后,启动集群成功,jps没有进程原因:java的进程好没有没记录到tmp文件夹下.问题解决1、重新更换一个JDK版本即可,不过这里 source /etc/profile 好像没用,建议重启。2、按下面链接中的方案操作,亲测有效解决方案楼主找了好久,才找到的解决方案,特来分享给大家,希望对大家有帮助接下来有衍生问题:jps只显示一个jps进程问题描述[lxm@hadoo原创 2022-05-14 10:32:29 · 3411 阅读 · 4 评论 -
搭建hadoop 集群,出现 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
【注】1、出现这个原因在于在我们生成 ssh 免密登录的时候。没有把is_rsa.pub(公钥)追加到 authorized_keys文件后面。2、理论上,设置成功的话 输入 ssh hadoop103 是不需要输入密码的问题描述解决方案1、把is_rsa.pub(公钥)追加到 authorized_keys文件后面,然后在分发一下ssh-copy-id 主机名 [lxm@hadoop102 .ssh]$ cat is_rsa.pub >> authorized_keys [lxm原创 2022-05-14 10:20:48 · 3337 阅读 · 0 评论 -
centos的安装
前言:1、本次安装分为两部分,硬件安装和操作系统安装,对于初次学习的话,建议采取这中模式。2、准备虚拟机和centos.这里使用的是VMware Workstation Pro虚拟机和CentOS-8.3.2011-x86_64-dvd1.iso centos文件第二部分软件安装1、 在我们刚配置好的硬件中,选择CD/DVD(IDE),选择centos镜像文件 如图:**2、**选择完成之后,然后点击“开启虚拟机”,centos便开始安装了 。如图:【注】点击屏幕鼠标便进去了,按ctr原创 2021-07-04 10:53:39 · 603 阅读 · 0 评论 -
kettle的安装
1、下载地址https://sourceforge.net/projects/pentaho/files/Data%20Integration/2、下载kettle压缩包,因kettle为绿色软件,解压缩到任意本地路径即可。然后打开Spoon.bat,如图所示:因为,运行spoon在不同的平台上运行spoon所支持的脚本:Spoon.bat:在Windows平台上运行spoon;Spoon.sh:在Linux、AppleOSX、Solaris平台上运行Spoon。如出现上面图片内容所示,即安原创 2020-11-13 22:35:24 · 211 阅读 · 0 评论 -
bat脚本关kettle或者某程序
一:代码如下:@ echo offecho 准备关闭Kettle程序...taskkill /f /im "javaw.exe"echo 退出本界面exitnotes:1、“javaw.exe”,为相对应程序的进程。楼主这里关闭的是kettle,所以找的是kettle 相对应的进程,若关闭其他的,则对应找到其它进程。2、最后两句代码,需要注意,在结合kettle中.bak脚本的使用是不需要的。本文参考于:详情请点击此链接...原创 2021-04-26 11:55:14 · 822 阅读 · 0 评论 -
kettle脚本执行定时任务
**一:**在网上查了很多资料,发现有一些博主说的挺详细的,但是具体操作,很容易犯一些错误,特在此总结一下1、进入kettle所在的目录,代码如下:解释一下:1、D:是进入D盘(我的kettle放在D盘中,若在C盘的话可以忽略这一步)2、Pan.bat/File >>后面的路径是我定义的一个转换的路径(这里特别说明:kettle根目录有两个可执行bat文件:**pan.bat是执行转换的(对应ktr文件)**和 kitchen.bat是执行作业的(kjb文件),我这里是转换所以用的原创 2020-12-11 19:43:20 · 2261 阅读 · 0 评论 -
bat脚本执行sql脚本
查阅的很多的博客和资料,发现讲的挺多的多,但实践起来总是出错。因此楼主将总结汇聚如下,简单明了的执行操作供大家参考一:简介bat文件是dos下的批处理文件。批处理文件是无格式的文本文件,它包含一条或多条命令。它的文件扩展名为 .bat 或 .cmd。在命令提示下输入批处理文件的名称,或者双击该批处理文件,系统就会调用cmd.exe按照该文件中各个命令出现的顺序来逐个运行它们。使用批处理文件(也被称为批处理程序或脚本),可以简化日常或重复性任务。二:操作解释:1、sqlcmd 可以简单理解原创 2020-12-25 22:40:04 · 3337 阅读 · 0 评论 -
kettle连接资源库
前言:在实际的团队开发过程中,不可能将自己的转换、作业和调度等配置存放在自己的电脑中。而Kettle的资源库正可以将我们的转换、作业等存储下来,构成一种协作平台。转换任务在资源库中是以文件夹形式分组管理的,用户可以自定义文件夹名称。Kettle支持连接的资源库类型有三种:1.Pentaho Repository:使用的是Kettle公司自己的服务器,一般自己公司不会使用2.Database Repository:保存在数据库的资源库,通过用户名密码访问3.File Repository:保存的服务原创 2020-12-11 20:06:42 · 3581 阅读 · 3 评论 -
关于 rank() 、dense_rank() 、row_number() over的理解
关于 rank() 、dense_rank() 、row_number() over的理解Score 表数据如下:1、rank() over>> 排名相同的两名是并列,但是占两个名次 如:1 1 3 4 4 6select a.scores, (rank() over (order by scores desc)) AS "rank" from Score a[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gTXrGz6k-1650857168原创 2022-04-25 11:28:30 · 232 阅读 · 0 评论 -
数据仓库,笔记汇总
啊大苏打原创 2021-02-10 21:11:37 · 285 阅读 · 0 评论