- 博客(10)
- 收藏
- 关注
RSS订阅原创 kafka启动脚本
#!/bin/bashfor i in {1…3}doecho "kafkai启动中..."sshroot@hadoopi 启动中..." ssh root@hadoopi启动中..."sshroot@hadoopi “source /etc/profile;/home/bigdata/kafka0.10/bin/kafka-server-start....
2019-05-22 17:17:34
169
原创 spark读取flume
1、在flume的/home/bigdata/flume1.6/lib目录下下载并导入jar包org.apache.sparkspark-streaming-flume_2.112.2.0<dependency> <groupId>org.apache.commons</groupId> <artifactId>commo...
2019-05-17 15:46:52
847
转载 Spark Streaming 工作节点容错
为了应对工作节点失败的问题，Spark Streaming 使用与 Spark 的容错机制相同的方法。所有从外部数据源中收到的数据都在多个工作节点上备份。所有从备份数据转化操作的过程 中创建出来的 RDD 都能容忍一个工作节点的失败，因为根据 RDD 谱系图，系统可以把丢 失的数据从幸存的输入数据备份中重算出来。...
2019-05-17 15:44:39
230
翻译 spark streaming驱动器程序容错
import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}object jiachadian {def functi...
2019-05-17 15:39:55
219
原创 Mysql高级
Mysql调优解决思路1、收到爆炸，整顿SQL2、开启慢查询日志，抓取执行慢的SQL3、Explain开始分析（应该会找到问题所在）4、Show profile（比explain更加细粒度，基本95%的问题就解决了）5、配合DBA开始各种参数调优mysql的架构介绍(1)Mysql简介1、概述MySQL是一个关系型数据库管理系统，有瑞典MySQLAB公司开发，目前属于Oracle...
2019-05-14 21:06:00
354
翻译 kafka常用密令
开启kafka/home/bigdata/kafka_2.11-0.10.2.1/bin/kafka-server-start.sh -daemon /home/bigdata/kafka_2.11-0.10.2.1/config/server.properties/home/bigdata/kafka_2.11-0.8.2.2/bin/kafka-server-start.sh -daem...
2019-05-10 10:48:37
207
原创 虚拟机，hadoop，zk的安装
创建虚拟机虚拟机：VMware workstation11Linux系统：CentOS-6.5-x86_64-bin-DVD1.iso 选择 新建虚拟机选择 自定义选择 稍后安装操作系统选择 linux Centos64位选定存储地址Cpu颗数默认内存1g选择仅主机模式默认默认磁盘50G默认完成编辑虚拟机设置选择ISO镜像文件开机选 第一个Skip跳过...
2019-05-07 08:04:55
322
原创 虚拟机NEY配置
TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticIPADDR=192.168.11.31NETMASK=255.255.255.0DEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAI...
2019-05-07 07:50:45
269
原创 linux免密登录
设置免密码ssh 方式一 选其一ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keysscp ~/.ssh/authorized_keys slave1:/root/.ssh/scp ~/.ssh/authorized_keys slave2:/root/...
2019-05-06 11:23:50
132
原创 去除log打印result
文件名：log4j.properties\u8BBE\u7F6E####,stdout,D,Elog4j.rootLogger = stdout , D , Elog4j.appender.stdout = org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.Target = System.outlog4j.appender...
2019-04-09 16:56:39
263
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人