- 博客(6)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 kettle-java代码执行hive相关ktr时报错： database type with plugin id [HIVE2] couldn‘t be found!
1.在java项目中执行hive相关的ktr: KettleEnvironment.init(); TransMeta transMeta = new TransMeta("C:\\Users\\lixiang\\Desktop\\hivetorizhi.ktr"); // 设置执行模式 TransExecutionConfiguration config = new T...
2018-08-13 16:47:30
6675
11
原创 scala-scala部署
1.上传scala部署包至虚拟机，解压缩解压scalatar –zxvf scala-2.11.8.tgz配置环境变量vi /etc/profileexport SCALA_HOME=/usr/tools/scala-2.11.8export PATH=$PATH:$SCALA_HOME/bin是环境变量生效source /etc/profile检查安装成功：...
2018-08-27 19:04:58
538
原创 hadoop-hadoop部署完成，启动集群后，NodeManager未启动， NodeManager from hd01 doesn't satisfy minimum allocations
hadoop部署过程结束，执行start-all.sh后，NodeManager为启动，相关日志为：2018-08-27 16:14:11,228 ERROR org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManagerorg.apache.hadoop.yarn.exceptions...
2018-08-27 16:34:17
1225
6
原创 hadoop-hadoop2.9.0集群部署
1.准备工作3个节点以及角色分配：192.168.50.235 hd01 master192.168.50.236 hd02 slaver192.168.50.237 hd03 slaver2.将安装包上传至主节点解压缩：添加环境变量，并使其生效：vi /etc/profile#javaexport J...
2018-08-27 16:27:16
457
原创 其他-疑问记录
1.http 带有Authorization验证2.linux vim 中wq 与x的区别3.scala-scala中map与flatmap的区别4.spark-rdd与dataframe dataset的区别5.spark无环图DAG6.大数据 数据检查点
2018-08-08 16:23:23
172
原创 kettle-在java项目中远程kettle集群执行ktr文件
1.新建java项目，jdk设置为1.8（本人使用的kettle版本为7.1）。2.添加所需的jar，如下图，并build path,，jar包的来源是kettle安装包lib下。3.新建执行类KettleUtil.javapackage com.kettle;import org.pentaho.di.core.KettleEnvironment;import o...
2018-08-08 11:01:32
5679
3
kettle执行hive相关ktr时报错： database type with plugin id [HIVE2] couldn't be found!
2019-04-02
spark经过maven编译后的spark-assembly包
2019-01-02
linux环境下部署kettle，执行kitchen.sh文件报错后提示安装 libwebkitgtk 所需rpm包
2018-11-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人