qq_16563637-CSDN博客

转载 vue2.0学习——使用webstorm创建一个vue项目

转载他人博客 https://blog.csdn.net/weixin_40877388/article/details/80911934

2019-03-24 08:52:53 286

原创 elasticsearch5.5.1单机和集群安装2合1及elasticsearch的使用

特点: 1.倒排索引(也就是分词后做索引) 2.安装过程非常简单,解压缩就能用 3.没有明确主节点,搭建集群增加节点即可(集群最好3个或3个以上节点) 4.查询非常快速安装过程如下: 说明: 1建议不要使用注册用户root,如果用root会启动不起来(除非进行配置) 2如果是搭建集群先同步时间 date -s "2018-09-30 13:57:00"同时发送到所有节点上安装步骤安装jdk1...

2018-09-30 15:10:25 508

原创 logstash-2.3.1安装和kafka结合使用

logstash-2.3.1安装和kafka结合使用说明: 1.logstash必须运行于jdk7.55以上版本(可参考的我另一篇博客安装https://blog.csdn.net/qq_16563637/article/details/81738113) 2.logstash开发语言JRuby,运行于jvm 3.logstash可以防止数据丢失并可以采集更多数据源(https://www.el...

2018-09-30 11:00:35 1211

原创 spark1.6+hadoop2.6+kafka2.10-0.8.2.1+zookeeper3.3.6安装及sparkStreaming代码编写和调试

安装环境安装之前确保设备至少有4GB内存,推荐8GB centos7.2 docker(这个安装请参考我的另一篇博客https://blog.csdn.net/qq_16563637/article/details/81699251) 目标安装软件目标安装版本实际安装版本 hadoop 2.6 2.6 spark 1.6 1.6 kafka 2.10-0.8.2.1 ...

2018-09-29 22:04:52 659

原创 spark+kafka的使用(单词计数)

kafka的安装参考我的这边博客(https://blog.csdn.net/qq_16563637/article/details/82776276) 1.安装zk集群 2.config/server.properties 添加zk地址:zookeeper.connect=node-1:2181,node-2:2181,node-3:2181 修改broker.id(唯一的)：broker.id...

2018-09-27 21:21:34 412

原创 sparkStreaming+flume实现内存计算(小数据量情况下)

架构分析sparkStreaming一般结合kafka使用,但是如果你的数据量比较小,就可以不用搭建kafka集群,那么flume提供了两种提供数据给sparkStreaming的方式一种是push,一种是Pull,Pull是sparkStreaming向flume拉取数据效果更好一些.因为push只能提供数据给一个spark,而Pull可以从多个flume进行拉取 1安装flume到服务器上传...

2018-09-27 17:34:56 277

原创 spark结合hive的使用

spark对于hive的版本是有要求的 spark1.6.1对应hive版本是1.2.1 spark1.6.0对应hive版本是1.2.1 我这里安装的版本是: spark1.6.0,hadoop2.6.0,hive 1.2.1,mysql5.6.35 先安装mysql(参考我的另一篇博客https://blog.csdn.net/qq_16563637/article/details/81774...

2018-09-25 15:44:50 1026

原创 sparkSql的使用

sparksql能与hive兼容并且可以读取多种数据源如sql 1新建一个文件并保存 1,zhangsan,18 2,lisi,19 3,wangwu,20 4,zhaoliu,21 2提交文件到hdfs hdfs dfs -put person.txt / 3使用map切分 val rdd = sc.textFile("hdfs://node-1.itcast.cn:9000/person....

2018-09-23 17:58:19 249

原创 spark任务提交流程与管依赖和窄依赖

spark内核执行流程图代表4个阶段 1构建RDD,进行join,groupBy,filter操作,形成DAG有向无环图(有方向,没有闭环),在最后一个action时完成DAG图,代表着数据流向 2提交DAG为DAGScheduler,DAG调度器,主要是将DAG划分成一个个stage,并且提交stage 切分的依据是宽依赖,也就是有网络的传递 3TaskScheduler,Task调度器,...

2018-09-23 17:06:43 328

原创 hadoop常用命令

二、具体 1、启动hadoop所有进程 start-all.sh等价于start-dfs.sh + start-yarn.sh 但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题)。 2、单进程启动。 sbin/start-dfs.sh sbin/hadoop-daemons.sh --config .. --hostname .. start namenode ....

2018-09-22 17:11:38 320

原创 spark远程调试debug及编译spark源码

先将下面代码打包第一种方式先backage然后打断点,然后Debug执行main方法在idea中添加参数 ①点击Run下的Edit Configurations ②配置Configuration页中的Program arguments选项，就可以在idea中传入参数，参数之间用空格隔开执行代码如下: package cn.itcast.spark.day1 import org.apac...

2018-09-22 16:32:55 976

原创 spark的rdd分析

以一个简单的wc(单词计数)程序为例 val rdd = sc.textFile(&quot;file:///root/wc&quot;).flatMap(_.split(&quot; &quot;)).map(_,1).reduceByKey(_,_).saveAsTextFile(&quot;file:///root/wc00&quot;) 上面单词计数总共产生6个rdd 可以执行下面语句查询 rdd数量查

2018-09-22 15:35:46 409

原创 spark的RDD高级算子

http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.html map是对每个元素操作, mapPartitions是对其中的每个partition操作 mapPartitionsWithIndex : 把每个partition中的分区号和对应的值拿出来, 看源码 val func = (index: Int, iter...

2018-09-20 17:23:00 492

原创 spark的rdd算子

算子分类：具体： 1、Value数据类型的Transformation算子，这种变换并不触发提交作业，针对处理的数据项是Value型的数据。 2、Key-Value数据类型的Transfromation算子，这种变换并不触发提交作业，针对处理的数据项是Key-Value型的数据对。 3、Action算子，这类算子会触发SparkContext提交Job作业。 RDD有两种操作算子： 1、Tran...

2018-09-20 16:57:30 267

原创 docker的pull过慢问题

今天启动tomcat启动了很长时间大约8分钟,发现tomcat一直卡主不滚动,日志如下 Logging initialized using 'class org.apache.ibatis.logging.stdout.StdOutImpl' adapter. 该程序最后能够启动起来,发现接口调用正常,所以出现这个问题以后可以正常使用时不用过多关注....

2018-09-19 22:43:55 1482

原创 docker安装kafka和zookeeper

1下载镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 2启动zookeeper容器 docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper 3 启动kafka容器 docker run -d --name ka...

2018-09-19 18:17:50 3184 2

原创 springmvc的controller即返回视图又能返回数据

在controller上面加上@ResponseBody能返回数据不加能返回视图,有没有根据入参做出判断既能返回视图又能返回数据的方式,本人尝试了一下,亲测可用 @RequestMapping("/ajaxPaymentBatchApproveProcess") public Object ajaxPaymentBatchApproveProcess(String packageIds,...

2018-09-05 13:55:11 3242 1

转载 Storm之——Storm+Kafka+Flume+Zookeeper+MySQL实现数据实时分析(程序案例篇)

改文章为转载,出处为http://blog.csdn.net/l1028386804/article/details/79441007,本文已按照作者要求转载 ...

2018-09-04 11:23:25 281

原创 mysql的docker安装

mkdir -p /root/mysql/config/ mkdir -p /root/mysql/logs/ mkdir -p /root/mysql/data/ vi /root/mysql/config/my.cnf 输入下面内容 [mysqld] #basedir= #user=root datadir=/var/lib/mysql port=3306 socket=/var/run/...

2018-08-17 11:36:07 163

原创 jdk的centos(适合6,7版本)安装

我的安装环境 centos7.2 64位 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 进入下载页面下载64位JDK dk-8u181-linux-x64.tar.gz 这个(一定要认清x64) 然后上传jdk-8u161-linux-x64.tar.gz到自己的...

2018-08-16 11:13:05 622

原创 flume的安装配置和使用

下载flume 能够采集的数据类型: Avro Thirft Exec Jms 从支持Jms协议的MQ中获取数据ActiveMQ已经测试过 Spooling Driectory 监控指定目录内数据变更 Twitter 通过API持续下载Twitter数据,实验性质 Netcat 监控某一个端口将流经端口的每一个文本行数据作为event输入 Sequence Generator...

2018-08-15 17:46:51 345

原创 spark的docker安装(单节点适合开发环境)

安装环境 centos7.2 sequenceiq/hadoop:2.6.0(这个安装请参考我的另一篇博客https://blog.csdn.net/qq_16563637/article/details/81702633) 本人亲自测试能够正常使用下载spark docker pull sequenceiq/spark docker运行 docker run -it -p...

2018-08-15 16:11:15 1914

原创 hadoop使用docker安装和使用(单节点适合开发环境)

本人亲测可用大家放心安装,本文适合开发环境搭建,不喜勿喷安装环境 centos7.2 docker 18.06.0-ce 下载hadoop镜像 docker pull sequenceiq/hadoop-docker:2.6.0 查看镜像 docker images 运行hadoop docker run -i -t -p 50070:50070 sequencei...

2018-08-15 13:30:22 5204

原创 centos 7中docker 部署zookeeper和kafka(单节点适合开发环境)

网上看了一些教程,发现多数有坑,现在自己写一篇,本人亲测可用各个软件版本: centos 7.2 kafka 2.11-2.0.0 docker 18.06.0-ce 下载zookeeper和kafka镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 分别启动zookeeper和kafka ...

2018-08-15 11:36:43 2312

原创 docker的centos7.2安装

今天又安装docker,发现一些新问题,重新调整安装顺序如下: 更新服务器 yum update --skip-broken 执行安装脚本 curl -sSL https://get.docker.com/ | sh 如果出现 + sh -c 'yum install -y -q docker-ce' 那么执行 yum install -y -q docker-ce...

2018-08-15 10:11:56 657

原创 SparkSql执行select查询

package cn.itcast.spark.test import java.sql.{Connection, Date, DriverManager, PreparedStatement} import java.util.Properties import org.apache.spark.sql.{DataFrame, SQLContext} import org.apache.sp...

2018-08-09 15:58:23 5878

原创 SparkSql执行自定义sql

package cn.itcast.spark.day3 import java.sql.{Connection, Date, DriverManager, PreparedStatement} import org.apache.spark.{SparkConf, SparkContext} /** * Created by root on 2016/5/18. * 广播变量和累加...

2018-08-09 15:57:01 897 1

原创 Activemq单机版安装

本人亲自安装下载地址:http://archive.apache.org/dist/activemq/5.10.2/apache-activemq-5.10.2-bin.tar.gz 1拖Activemq-5.10.2上来并解压 tar zxf apache-activemq-5.10.2-bin.tar.gz 2 启动程序 cd apache-activemq-5.12.0 cd...

2018-08-09 11:38:17 407

原创 zookeeper集群安装到centos7

Zookeeper集群搭建搭建目标: zookeeper搭建到一台机子上的三个端口实现伪分布式 192.168.10.198:2881:3881 //内部通信端口，选举端口 192.168.10.198:2882:3882 //内部通信端口，选举端口 192.168.10.198:2883:3883 //内部通信端口，选举端口布式到三台机子上只需要将IP地址改为三个不同...

2018-08-09 11:27:37 168

原创 Kafka集群centos7安装

集群部署的基本流程下载安装包、解压安装包、修改配置文件、分发安装包、启动集群集群部署的基础环境准备安装前的准备工作（zk集群已经部署完毕）关闭防火墙 chkconfig iptables off &amp;amp;amp;&amp;amp;amp; setenforce 0 创建用户 groupadd realtime &amp;amp;amp;&amp;amp;amp;　useradd realtime　&a

2018-08-09 10:38:44 422

原创 azkaban工作流调度器的安装

安装两个文件 azkaban web 服务器 azkaban-web-server-2.5.0.tar.gz azkaban 执行服务器 azkaban-executor-server-2.5.0.tar.gz azkaban 的mysql表结构 azkaban-sql-script-2.5.0.tar.gz 上传三个文件到mini1的/home/hadoop mkdir az...

2018-08-09 09:58:45 180

原创大数据日志分析项目mapreduce程序

总体思路:使用flume将服务器上的日志传到hadoop上面,然后使用mapreduce程序完成数据清洗,统计pv,visit模型.最后使用azkaban定时执行程序原始日志如下: 95367 后台首页 sw2 1529919971466 21 http://upms.zhangshuzheng.cn:1111 /manage/index http://upms.zh...

2018-08-09 09:42:24 1041 1

原创 docker常用命令

列出正在运行的容器：　　　　　　　　　　 docker ps 列出所有容器：　　　　　　　　　　　　　 docker ps -a 列出最近使用的容器，包括没有运行的：　　 docker ps -l 仅列出容器的ID，不包括没有运行的：　 docker ps q docker search 搜索镜像使用docker pull imagename（镜像名...

2018-08-09 09:10:39 151

原创 mysql的centos7安装

先检查服务器中有没有已经安装的mysql,如果有按照下面的命令删除 rpm -qa|grep -i mysql mysql-community-common-5.7.22-1.el7.x86_64 mysql57-community-release-el7-9.noarch mysql-community-client-5.7.22-1.el7.x86_64 mysql-communit...

2018-08-09 08:59:08 374

原创 hadoop集群安装到centos7

hadoop hdfs集群（负责文件读写） yam集群（负责为mapreduce分配硬件资源） name node 默认端口9000（客户端） resource manage (管理干活的) data node（node manage）（干活的）准备4台虚拟机最少每台1GB内存，推荐2GB sudo vi /etc/hosts修改所有虚拟机hosts，将之前系统默认的全部注释掉 ...

2018-08-09 08:56:27 228

转载利用ZooKeeper简单实现分布式锁

下面讲解下怎么利用ZooKeeper简单实现分布式锁，对于zk的安装和简单使用请参考我的文章：Hadoop集群之 ZooKeeper和Hbase环境搭建全部代码下载：CSDN链接：CSDN链接;写文章不易，欢迎大家采我的文章，以及给出有用的评论，当然大家也可以关注一下我的github；多谢； 1.分布式锁...

2018-08-08 13:22:48 142

转载 Mycat实现读写分离，主备热切换

实验环境：ubutu server 14 Master IP:172.16.34.212 Slave IP:172.16.34.34.156 Mycat server IP:172.16.34.219   不涉及过多理论，只有实现的过程。mysql读写分离和主备热切换，容灾，数据分片的实...

2018-08-08 13:10:02 949

原创 java中分布式框架dubbo的配置

pom.xml中配置  <dependency> <groupId>com.alibaba</groupId> <artifactId>dubbo</artifactId> <version>2

2018-08-08 12:02:08 323

原创 spring中jdbc的配置

实现了数据库加密访问,读写分离,事物,动态数据源,druid applicationContext-jdbc.xml <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3....

2018-08-08 11:35:49 706

原创 java中的quartz配置及使用

applicationContext-quartz.xml配置 <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:context="http://www.springframework.org/sche...

2018-08-08 11:09:07 2192

空空如也

空空如也