Titan数据运营系统--jjjjjjjjj

  1. hadoop集群启停:start-all.sh|stop-all.sh(+环境变量,hdfs+yarn)
  2. hdfs集群启停:start-dfs.sh|stop-dfs.sh(+环境变量) 端口号9870
  3. zookeeper启停:
    ①:单机启停命令:${ZOOKEEPER_HOME}/bin/zkServer.sh start|zkServer.sh stop
    ②:开发一个shell脚本做到一键启停
#!/bin/bash
arg=$1
for name in linux01 linux02 linux03
do
 ssh $name  "source /etc/profile;/opt/apps/zookeeper-3.4.6/bin/zkServer.sh $arg ;exit"
done
  1. yarn的启停命令:start-yarn.sh|stop-yarn.sh(+环境变量) 端口号8088
  2. hive启停命令:
    ①:hive客户端启动:hive(+环境变量)
    ②:远程连接hive: beeline -u jdbc:hive2://linux01:10000(+下边两个服务)
    hive的元数据服务: hive --service metastore
    hiveserver2远程服务:hive --service hiveserver2
  3. HBase启停命令:hbase shell(+下边进程)
    ①:启动HBase集群:start-hbase.sh|stop-hbase.sh
    ②:单独启停一个HMaster 进程:${HBASE_HOME}/bin/hbase-daemon.sh start master| hbase-daemon.sh stop master
    ③:单独启停一个HRegionServer进程:${HBASE_HOME}/bin/hbase-daemon.sh start regionserver|hbase-daemon.sh stop regionserver 端口号:16010
  4. clickhouse启动命令:
    ①:启动服务:service clickhouse-server start
    ②:启动交互式客户端:clickhouse-client
  5. spark集群的启停:${SPARK_HOME}/sbin/start-all.sh|stop-all.sh 端口号8080
  6. Azkaban任务调度:
    ①:启停executor执行服务器:bin/azkaban-executor-start|shutdown.sh
    ②:启停web服务器:bin/azkaban-web-start|shutdown.sh
    ③: 端口号: 8443
  7. Atlas元数据管理系统: 需要启动hdfs、habse、kafka、solr、zookeeper
    ①:启停命令:${ATLAS_HOME}/bin/atlas_start.py
    ②:端口号21000
  8. Solr应用服务器启动:bin/solr start -c -z linux01:2181,linux02:2181,linux03:2181 -p 8984 -force 端口号8984
  9. kafka的启停:${KAFKA_HOME}/ bin/kafka-server-start.sh -daemon config/server.properties
  10. Kylin的启停:${KYLIN_HOME}/bin/kylin.sh start 端口号:7070
  11. Presto的启停:${PRESTO_HOME}/bin/launcher start 端口号:8080
  12. Redis的启停:
    ①:启动redis服务:${REDIS_HOME}/bin/redis-server ./redis.conf
    ②:启动redis客户端:${REDIS_HOME}/bin/redis-cli -h linux01 -p 6379
  13. Flink集群的启停:${FLINK_HOME}/bin/start-cluster.sh 端口号8081
  14. Nginx:启动命令:/usr/local/nginx/sbin/nginx 停止命令:/usr/local/nginx/sbin/nginx -s stop端口号80
  15. OpenResty启停命令:/usr/local/openresty/service openresty start端口号80
  16. Clickhouse的启动:service clickhouse-server start
  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
课程简介:  本项目课程是一门极具综合性和完整性的大型项目课程;课程项目的业务背景源自各类互联网公司对海量用户浏览行为数据和业务数据分析的需求及企业数据管理、数据运营需求。 本课程项目涵盖数据采集与预处理、数据仓库体系建设、用户画像系统建设、数据治理(元数据管理、数据质量管理)、任务调度系统数据服务层建设、OLAP即席分析系统建设等大量模块,力求原汁原味重现一个完备的企业级大型数据运营系统。  拒绝demo,拒绝宏观抽象,拒绝只讲不练,本课程高度揉和理论与实战,并兼顾各层次的学员,真正从0开始,循序渐进,每一个步骤每一个环节,都会带领学员从需求分析开始,到逻辑设计,最后落实到每一行代码,所有流程都采用企业级解决方案,并手把手带领学员一一实现,拒绝复制粘贴,拒绝demo化的实现。并且会穿插大量的原创图解,来帮助学员理解复杂逻辑,掌握关键流程,熟悉核心架构。   跟随项目课程,历经接近100+小时的时间,从需求分析开始,到数据埋点采集,到预处理程序代码编写,到数仓体系搭建......逐渐展开整个项目的宏大视图,构建起整个项目的摩天大厦。  由于本课程不光讲解项目的实现,还会在实现过程中反复揉和各种技术细节,各种设计思想,各种最佳实践思维,学完本项目并勤于实践的话,学员的收获将远远超越一个项目的具体实现,更能对大型数据系统开发产生深刻体悟,对很多技术的应用将感觉豁然开朗,并带来融会贯通能力的巨大飞跃。当然,最直接的收获是,学完本课程,你将很容易就拿到大数据数仓建设或用户画像建设等岗位的OFFER课程模块: 1. 数据采集:涉及到埋点日志flume采集系统,sqoop业务数据抽取系统等; 2. 数据预处理:涉及到各类字典数据构建,复杂结构数据清洗解析,数据集成,数据修正,以及多渠道数据的用户身份标识打通:ID-MAPPING等;3. 数据仓库:涉及到hive数仓基础设施搭建,数仓分层体系设计,数仓分析主题设计,多维分析实现,ETL任务脚本开发,ETL任务调度,数据生命周期管理等;4. 数据治理:涉及数据资产查询管理,数据质量监控管理,atlas元数据管理系统,atlas数据血缘管理等;5. 用户画像系统:涉及画像标签体系设计,标签体系层级关系设计,各类标签计算实现,兴趣类标签的衰减合并,模型标签的机器学习算法应用及特征提取、模型训练等;6. OLAP即席分析平台:涉及OLAP平台的整体架构设计,技术选型,底层存储实现,Presto查询引擎搭建,数据服务接口开发等;7. 数据服务:涉及数据服务的整体设计理念,架构搭建,各类数据访问需求的restapi开发等;课程所涉及的技术: 整个项目课程中,将涉及到一个大型数据系统中所用到的几乎所有主要技术,具体来说,包含但不限于如下技术组件:l Hadoopl Hivel HBasel SparkCore /SparkSQL/ Spark GRAPHX / Spark Mllibl Sqoopl Azkabanl Flumel lasal Kafkal Zookeeperl Solrl Prestop

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值