《大数据入门》系列
文章平均质量分 54
小编的大数据学习之旅
李子捌
CSDN博客专家、InfoQ 100大签约作者、阿里云博客专家、华为云专家
展开
-
Ambari部署Spark
Add Service集群部署选择全部clientNEXT安装完成Summary 注意提示Important: After closing this wizard, please restart all services that have the restart indicator next to the service name.重要提示:关闭此向导后,请重新启动服务名称旁边有重新启动指示器的所有服务。...原创 2021-07-23 00:25:07 · 1387 阅读 · 0 评论 -
Ambari部署Storm
add service选择StormAdd Server WizardNimbus ambari-01 ambari-02 ambari-03Storm UI Server ambari-03DRPC Server ambari-03Supervisor自定义Storm的配置 配置选择默认忽略提示信息,点击"PROCEED ANYWAY"DEPLOY 等待安装安装完成...原创 2021-07-23 00:25:37 · 333 阅读 · 0 评论 -
Ambari部署Solr
选择Infra solr add service 在ambari中 solr是 Infra Solr选择Infra Solr Next部署Infra Solr HA 选择三台服务器 ambari-01 ambari-02 ambari-03分配从站和客户端,选择客户端全节点安装默认配置 Next这里是HBase主堆大小没达到最小设置值,可以不用改,Proceed Anyway仍要继续Review安装的组件 DEPLOY等待.原创 2021-07-23 00:26:01 · 1123 阅读 · 1 评论 -
Ambari部署Kafka
添加kafka service选择kafka Next部署kafka HA 选择 ambari-01 ambari-02 ambari-03ambari-01:2181 next这里是HBase主堆大小没达到最小设置值,可以不用改,Proceed Anyway仍要继续Review安装的组件 DEPLOYSUCCESS Next 成功后NextSummary 注意提示Important: After closing .原创 2021-07-23 00:26:21 · 1341 阅读 · 0 评论 -
Ambari部署Hive
创建Hive所需的MySQL资源Hive的部署过程跟 HBase基本一样,不过 Hive的元数据一般选择存放在MySQL,所以我们要在 MySQL里单独为 Hive创建用户和库以便于管理: #在MySQL所在服务器ambari-01 mysql-uroot-pPWD@123456 #执行如下指令 setglobalvalidate_password_policy=0; setglobalvalidate_password_mixed_case_count=0;...原创 2021-07-23 00:26:33 · 1946 阅读 · 8 评论 -
Ambari部署HBase
ambari 安装 HBase HA选择HBase 点击Next部署HA HBase 选择多节点 点击Next选择默认配置Review 没有问题的话点击 DEPLOYSummary 注意提示Important: After closing this wizard, please restart all services that have the restart indicator next to the service name..原创 2021-07-23 00:26:45 · 932 阅读 · 3 评论 -
Ambari部署Flink
这个比较靠谱,下面操作的是单机https://blog.csdn.net/high2011/article/details/90272331从github上clone ambari-flink-service到对应目录sudogitclonehttps://github.com/abajwa-hw/ambari-flink-service.git/var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/FLI...原创 2021-07-23 00:26:59 · 1581 阅读 · 3 评论 -
Ambari部署Atlas
选择Atlas服务选择Atlas选择多节点部署HA集群分配从站和客户端,选择客户端全节点安装 NextADVANCED Advaced atlas-env设置管理员密码为admin123,管理员用户默认为admin:这里是HBase主堆大小没达到最小设置值,可以不用改,Proceed Anyway仍要继续Atlas is configured to use the HBase installed in this cluster. If y.原创 2021-07-22 22:30:55 · 1481 阅读 · 6 评论 -
Scripts安装
目录安装完毕linkis后1、部署Scripts1.1 下载安装包1.2 安装Nginx2、⼿⼯部署Scripts2.1 修改配置⽂件2.2 部署前端包3、常⻅问题4、Scripts快速⼊⻔5、拓展问题安装完毕linkis后1、部署Scriptshttps://github.com/WeBankFinTech/Scriptis/blob/master/docs/zh_CN/README.mdScripts本质上是Linkis的前端程序,Scripts原创 2021-07-22 22:28:41 · 2425 阅读 · 4 评论 -
安装matplotlib
如果您的Pyspark想拥有画图功能,则还需在所有安装节点,安装画图模块。命令如下python3-mpipinstallmatplotlib如果没有安装pip需要先安装pipcurlhttps://bootstrap.pypa.io/get-pip.py-oget-pip.pypython3get-pip.py...原创 2021-07-22 22:26:07 · 309 阅读 · 2 评论 -
Linkis安装
目录1、 安装java2、安装MySQL3、安装Python4 创建部署⽤户5 每个安装节点新增如下环境变量4、安装matplotlib5、创建本地⼯作⽬录6、安装包准备7、安装8、启动Linkis9、验证Linkiseureka访问地址 —— 这里如有不懂,请查看我的大数据专栏,或者也可以直接忽略http://ambari-03:20303/1、 安装java1#上传jdk8稳定版压缩包到服务器目录&解压2sudotar-z...原创 2021-07-22 22:24:00 · 976 阅读 · 5 评论 -
Atlas集成外部组件—集成Hive、HBase、Kafka
目录1、集成Hive1.1 历史元数据处理2、集成HBase2.1历史元数据导入3、集成Kafka3.1Bug规避3.1.1 发现bug3.1.2 规避bug3.1.2 集成原理与局限性3.1.3 历史元数据导入3.1.4 准时导入kafka元数据安装好Atlas只是第一步,接下来我们得采集相关大数据组件的元数据,所以得跟大数据组组件做集成。如果是手工安装的Apache版本的Atlas,我们还需要单独做Atlas跟其他组件的集成配置才能管理他们的元数据,比如原创 2021-07-22 22:13:14 · 3457 阅读 · 7 评论 -
DolphinScheduler服务启停
1、 服务启停cd/home/hadoop/app/dolphinscheduler/bin⼀键停⽌集群所有服务sh./bin/stop-all.sh⼀键开启集群所有服务sh./bin/start-all.sh启停Mastersh./bin/dolphinscheduler-daemon.shstartmaster-serversh./bin/dolphinscheduler-daemon.shstopmaster-server启停Worke...原创 2021-07-22 22:05:29 · 3507 阅读 · 3 评论 -
DolphinScheduler安装
1、DS源码编译1.1 版本规划DS在成为Apache孵化项⽬之后的最新稳定版是1.3.4,并提供了Flink的⽀持,我们就使⽤1.3.4即可1https://github.com/apache/incubator-dolphinscheduler/releases1.2 克隆代码1gitclonehttps://github.com/apache/incubator-dolphinscheduler.git1.3 适配HDP3.1DS依赖于Hadoop、Hiv..原创 2021-07-22 22:03:50 · 1245 阅读 · 2 评论 -
Ambari集群部署全流程
Apache Ambari是一个基于Web的支持Apache Hadoop集群的供应、管理和监控的开源工具,Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。提供Web UI进行可视化的集群管理,简化了大数据平台的安装、使用难度。服务器资源目录ip地址 节点 组件 192.168.186.164 master 192.168.186.167 slave原创 2021-07-22 21:56:09 · 3136 阅读 · 9 评论