elasticsearch5.5.1单机和集群安装2合1及elasticsearch的使用

特点: 1.倒排索引(也就是分词后做索引) 2.安装过程非常简单,解压缩就能用 3.没有明确主节点,搭建集群增加节点即可(集群最好3个或3个以上节点) 4.查询非常快速 安装过程如下: 说明: 1建议不要使用注册用户root,如果用root会启动不起来(除非进行配置) 2如果是搭建集群先同步时间 ...

2018-09-30 15:10:25

阅读数:98

评论数:0

logstash-2.3.1安装和kafka结合使用

logstash-2.3.1安装和kafka结合使用 说明: 1.logstash必须运行于jdk7.55以上版本(可参考的我另一篇博客安装https://blog.csdn.net/qq_16563637/article/details/81738113) 2.logstash开发语言JRuby...

2018-09-30 11:00:35

阅读数:463

评论数:0

spark1.6+hadoop2.6+kafka2.10-0.8.2.1+zookeeper3.3.6安装及sparkStreaming代码编写和调试

安装环境 安装之前确保设备至少有4GB内存,推荐8GB centos7.2 docker(这个安装请参考我的另一篇博客https://blog.csdn.net/qq_16563637/article/details/81699251) 目标安装软件 目标安装版本 实际安装版本 h...

2018-09-29 22:04:52

阅读数:85

评论数:0

spark+kafka的使用(单词计数)

kafka的安装参考我的这边博客(https://blog.csdn.net/qq_16563637/article/details/82776276) 1.安装zk集群 2.config/server.properties 添加zk地址:zookeeper.connect=node-1:2181...

2018-09-27 21:21:34

阅读数:72

评论数:0

sparkStreaming+flume实现内存计算(小数据量情况下)

架构分析sparkStreaming一般结合kafka使用,但是如果你的数据量比较小,就可以不用搭建kafka集群,那么flume提供了两种提供数据给sparkStreaming的方式一种是push,一种是Pull,Pull是sparkStreaming向flume拉取数据效果更好一些.因为pus...

2018-09-27 17:34:56

阅读数:75

评论数:0

spark结合hive的使用

spark对于hive的版本是有要求的 spark1.6.1对应hive版本是1.2.1 spark1.6.0对应hive版本是1.2.1 我这里安装的版本是: spark1.6.0,hadoop2.6.0,hive 1.2.1,mysql5.6.35 先安装mysql(参考我的另一篇博客http...

2018-09-25 15:44:50

阅读数:153

评论数:0

sparkSql的使用

sparksql能与hive兼容并且可以读取多种数据源如sql 1新建一个文件并保存 1,zhangsan,18 2,lisi,19 3,wangwu,20 4,zhaoliu,21 2提交文件到hdfs hdfs dfs -put person.txt / 3使用map切分 val rdd ...

2018-09-23 17:58:19

阅读数:55

评论数:0

spark任务提交流程与管依赖和窄依赖

spark内核执行流程图 代表4个阶段 1构建RDD,进行join,groupBy,filter操作,形成DAG有向无环图(有方向,没有闭环),在最后一个action时完成DAG图,代表着数据流向 2提交DAG为DAGScheduler,DAG调度器,主要是将DAG划分成一个个stage,并且提...

2018-09-23 17:06:43

阅读数:51

评论数:0

hadoop常用命令

二、具体 1、启动hadoop所有进程 start-all.sh等价于start-dfs.sh + start-yarn.sh 但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题)。 2、单进程启动。 sbin/start-dfs.sh sbin/hadoop-da...

2018-09-22 17:11:38

阅读数:109

评论数:2

spark远程调试debug及编译spark源码

先将下面代码打包 第一种方式 先backage然后打断点,然后Debug执行main方法 在idea中添加参数 ①点击Run下的Edit Configurations ②配置Configuration页中的Program arguments选项,就可以在idea中传入参数,参数之间用空格隔开 执行...

2018-09-22 16:32:55

阅读数:209

评论数:0

spark的rdd分析

以一个简单的wc(单词计数)程序为例 val rdd = sc.textFile("file:///root/wc").flatMap(_.split(" "))...

2018-09-22 15:35:46

阅读数:30

评论数:0

spark的RDD高级算子

http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.html map是对每个元素操作, mapPartitions是对其中的每个partition操作 mapPartitionsWithIndex : 把每个parti...

2018-09-20 17:23:00

阅读数:29

评论数:0

spark的rdd算子

算子分类: 具体: 1、Value数据类型的Transformation算子,这种变换并不触发提交作业,针对处理的数据项是Value型的数据。 2、Key-Value数据类型的Transfromation算子,这种变换并不触发提交作业,针对处理的数据项是Key-Value型的数据对。 3、Acti...

2018-09-20 16:57:30

阅读数:29

评论数:0

docker的pull过慢问题

今天启动tomcat启动了很长时间大约8分钟,发现tomcat一直卡主不滚动,日志如下 Logging initialized using 'class org.apache.ibatis.logging.stdout.StdOutImpl' adapter. 该程序最后能够启动起来,...

2018-09-19 22:43:55

阅读数:77

评论数:0

docker安装kafka和zookeeper

1下载镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 2启动zookeeper容器 docker run -d --name zookeeper -p 2181:2181 -t wur...

2018-09-19 18:17:50

阅读数:133

评论数:0

springmvc的controller即返回视图又能返回数据

在controller上面加上@ResponseBody能返回数据不加能返回视图,有没有根据入参做出判断既能返回视图又能返回数据的方式,本人尝试了一下,亲测可用 @RequestMapping("/ajaxPaymentBatchApproveProcess"...

2018-09-05 13:55:11

阅读数:177

评论数:1

Storm之——Storm+Kafka+Flume+Zookeeper+MySQL实现数据实时分析(程序案例篇)

改文章为转载,出处为http://blog.csdn.net/l1028386804/article/details/79441007,本文已按照作者要求转载 ...

2018-09-04 11:23:25

阅读数:29

评论数:0

mysql的docker安装

mkdir -p /root/mysql/config/ mkdir -p /root/mysql/logs/ mkdir -p /root/mysql/data/ vi /root/mysql/config/my.cnf 输入下面内容 [mysqld] #basedir= ...

2018-08-17 11:36:07

阅读数:24

评论数:0

jdk的centos(适合6,7版本)安装

我的安装环境 centos7.2 64位 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 进入下载页面 下载64位JDK dk-8u181-linux-x64.tar....

2018-08-16 11:13:05

阅读数:105

评论数:0

flume的安装配置和使用

下载flume 能够采集的数据类型: Avro Thirft Exec Jms 从支持Jms协议的MQ中获取数据ActiveMQ已经测试过 Spooling Driectory 监控指定目录内数据变更 Twitter 通过API持续下载Twitter数据,实验性质 Netcat...

2018-08-15 17:46:51

阅读数:71

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭