Hadoop
文章平均质量分 63
william_cheng666
数据挖掘算法研发,现从事结构健康监测行业工作。
展开
-
Flink:pyflink安装配置和hive连接配置
配置python环境 普通安装时如果用python api去编写脚本就会出现python脚本要大于3.5的错误,由于centos7自带的python版本为2.7,需要安装python3然后配置路径,原来的python2.7不能卸载,不然有些工具不能使用 安装python3.8 略 配置python3的环境(每个节点都需要设置) ln -s /usr/local/python3 /usr/bin/python3 ln -s /usr/local/python3/bin/pip3.8 /usr/bin/pip原创 2021-11-09 14:22:08 · 2660 阅读 · 0 评论 -
Hadoop:Flink on Yarn服务配置与设置
之前打算直接在ambari上安装配置flink服务方便管理,但是发现ambari集成的flink会出现很多问题反而不方便管理(可能是没找到正确的方法),于是打算单独配置服务 下载两个文件文件 flink-1.10.1文件:https://archive.apache.org/dist/flink/flink-1.10.1/flink-1.10.1-bin-scala_2.11.tgz Hadoop依赖包:https://repo.maven.apache.org/maven2/org/apache/flin原创 2021-10-27 10:29:00 · 2377 阅读 · 0 评论 -
Hadoop:ambari安装Flink服务
1.安装git 查看是否安装了git git --help 如果没有git,那就安装 yum install git 2.设置version变量 VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'` echo $VERSION 3.下载ambari-flink-service服务 sudo git clone https://github.com.cnpmjs.org/ab原创 2021-10-14 14:47:51 · 580 阅读 · 0 评论