2018年05月_我是女孩

12月 11月 07月 06月 05月 04月 03月

原创 Linux系统中KafKa安装和使用方法 java客户端连接kafka

1 下载并安装kafka# tar zxvf kafka_2.12-1.1.0tgz # mv kafka_2.12-1.1.0 /usr/local/kafka# cd /usr/local/kafka2 启动服务运行kafka需要使用Zookeeper，所以需要先启动一个Zookeeper服务器，如果没有Zookeeper，可以使用kafka自带打包和配置好的Zookeeper,&...

2018-05-31 20:57:29 9292

原创美团sql优化工具测试

参考文档https://dbarobin.com/2017/03/16/test-report-of-sqladvisor/安装rpm时报错：Header V3 RSA/SHA256 Signature, key ID fd431d51: NOKEY error: Failed dependencies:https://blog.csdn.net/pengpengfly_jhp/article/d...

2018-05-27 23:01:52 818

原创 hadoop单机，伪分布式，完全分布式搭建

1.1、单机模式（独立模式）（Local或Standalone Mode）　　-默认情况下，Hadoop即处于该模式，用于开发和调式。　　-不对配置文件进行修改。　　-使用本地文件系统，而不是分布式文件系统。　　-Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。　　-...

2018-05-27 23:00:29 370

原创 ubuntu环境搭建spark集群

参考主文档https://www.cnblogs.com/purstar/p/6293605.htmlyarn 集群https://blog.csdn.net/u010638969/article/details/51283216关于VMWare虚拟机下搭建hadoop集群练习各虚拟机间无法ping通主机名的问题https://blog.csdn.net/huayuci/article/detai...

2018-05-27 22:59:21 592

原创 Hadoop笔记

HADOOP-MapReduce简介 https://blog.csdn.net/lfsf802/article/details/9011521分布式计算框架Hadoop原理及架构全解http://www.uml.org.cn/bigdata/201712273.aspMapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。它极大的方便编程人员在不会分布式并行编程的情况...

2018-05-27 22:57:50 238

原创 source filename 与 sh filename 及./filename执行脚本的区别

source filename 与 sh filename 及./filename执行脚本的区别当shell脚本具有可执行权限时，用sh filename与./filename执行脚本是没有区别得。./filename是因为当前目录没有在PATH中，所有”.”是用来表示当前目录的。sh filename 重新建立一个子shell，在子shell中执行脚本里面的语句，该子shell继承父shell的...

2018-05-27 22:55:56 516