kafka启动脚本 #!/bin/bashfor i in {1…3}doecho "kafkai启动中..."sshroot@hadoopi 启动中..." ssh root@hadoopi启动中..."sshroot@hadoopi “source /etc/profile;/home/bigdata/kafka0.10/bin/kafka-server-start....
spark读取flume 1、在flume的/home/bigdata/flume1.6/lib目录下下载并导入jar包org.apache.sparkspark-streaming-flume_2.112.2.0<dependency> <groupId>org.apache.commons</groupId> <artifactId>commo...
Spark Streaming 工作节点容错 为了应对工作节点失败的问题，Spark Streaming 使用与 Spark 的容错机制相同的方法。所有从外部数据源中收到的数据都在多个工作节点上备份。所有从备份数据转化操作的过程 中创建出来的 RDD 都能容忍一个工作节点的失败，因为根据 RDD 谱系图，系统可以把丢 失的数据从幸存的输入数据备份中重算出来。...
spark streaming驱动器程序容错 import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}object jiachadian {def functi...
Mysql高级 Mysql调优解决思路1、收到爆炸，整顿SQL2、开启慢查询日志，抓取执行慢的SQL3、Explain开始分析（应该会找到问题所在）4、Show profile（比explain更加细粒度，基本95%的问题就解决了）5、配合DBA开始各种参数调优mysql的架构介绍(1)Mysql简介1、概述MySQL是一个关系型数据库管理系统，有瑞典MySQLAB公司开发，目前属于Oracle...
kafka常用密令 开启kafka/home/bigdata/kafka_2.11-0.10.2.1/bin/kafka-server-start.sh -daemon /home/bigdata/kafka_2.11-0.10.2.1/config/server.properties/home/bigdata/kafka_2.11-0.8.2.2/bin/kafka-server-start.sh -daem...
虚拟机，hadoop，zk的安装 创建虚拟机虚拟机：VMware workstation11Linux系统：CentOS-6.5-x86_64-bin-DVD1.iso 选择 新建虚拟机选择 自定义选择 稍后安装操作系统选择 linux Centos64位选定存储地址Cpu颗数默认内存1g选择仅主机模式默认默认磁盘50G默认完成编辑虚拟机设置选择ISO镜像文件开机选 第一个Skip跳过...
虚拟机NEY配置 TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticIPADDR=192.168.11.31NETMASK=255.255.255.0DEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAI...
linux免密登录 设置免密码ssh 方式一 选其一ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keysscp ~/.ssh/authorized_keys slave1:/root/.ssh/scp ~/.ssh/authorized_keys slave2:/root/...
去除log打印result 文件名：log4j.properties\u8BBE\u7F6E####,stdout,D,Elog4j.rootLogger = stdout , D , Elog4j.appender.stdout = org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.Target = System.outlog4j.appender...
关注
