- 博客(31)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spring boot 集成 Hive JDBC
Spring boot 集成 Hive JDBC标签（空格分隔）： hive参考Spring boot with Apache Hive 实现支持多数据源YARN 配置Hive JDBC 使用 Spark 引擎，使用 YARN 模式执行任务YARN 使用 FAIR 调度，Hive 队列最少需要 2G 内存 + 2CPU，因此 Hive 队列只能执行 2 个任务，在后续Druid...
2019-03-20 17:58:23
3627
原创 Elasticsearch Kibana 集群搭建
Elasticsearch Kibana 集群搭建标签（空格分隔）： elasticsearch##elasticsearch5.5 集群搭建###环境elasticsearch5.x需要jdk1.8指出，如果使用jdk1.7可以下载2.4.5最新版本2.4.5本文搭建集群使用的版本为5.5，系统为CenterOS本文搭建的环境所有节点同时是主节点和数据节点，集群较大时可以将主...
2019-03-20 16:45:36
2519
原创 SparkSql使用内部集成hive访问hbase
SparkSql需要用到hive的元数据，有两种方式集成方式分别为使用buildin的hive直接连接hive的mysql元数据库和连接metastore thrift server注：Spark自带的hive版本为1.2.1，使用mysql方式时，spark会自动将hive源数据库中的metastore version改为1.2.0，导致高版本hive使用出现问题。实际测试时发现，如果想同...
2018-09-21 15:36:09
2059
2
原创 Spark Job Server 0.7.0部署和使用
##安装Scala在Scala官网下载合适的版本解压到/usr/local/scala目录下(目录可随意修改)在linux下加入环境变量export PATH="$PATH:/usr/scala/bin"输入scala检查是否安装成功##手动安装sbt在官网下载sbt，可以用zip或tgz解压到/usr/local/sbt目录下在/usr/local/sbt目录下新建...
2018-09-21 15:35:27
623
原创 hadoop配置优化
##磁盘空间占用防止hdfs文件占用全部磁盘空间，在hdfs-site.xml中配置dfs.datanode.du.reserved：预留磁盘空间，详情请参考hadoop预留空间配置方法 <property> <name>dfs.datanode.du.reserved</name> <value>10737418240<...
2018-09-21 15:34:45
538
原创 内切椭圆文字
内切椭圆文字标签（空格分隔）： 图像处理 参考c# 绘制内切于椭圆的文字，求代码或思路#36实现java版本 实际效果文字在圆上不是完全均匀分布，靠近圆y轴的字间隔较大，靠近圆x轴字间隔较小package com.bwjf.sks.test.common;import java.awt.BasicStroke;import java.awt.Color;im...
2018-08-31 10:54:34
745
原创 flume日志写入hbase问题记录
flume日志写入hbase问题记录标签（空格分隔）： flume flume使用kafkachannel，source为avro，应用通过logback写入logback-flume-appender数据发送body内容异常 这个问题在单进程写日志的时候不会出现，在2个以上的进程时出现event的body数据异常，导致flume的自定义sink中无法解析数据 ...
2018-05-02 16:56:33
1633
原创 flume配置记录
flume配置记录标签（空格分隔）： flumeavro写入hdfs avro传递的字符串数据直接写入hdfsagent1.sources=source1agent1.channels=channel1agent1.sinks=sink1agent1.sources.source1.type=avroagent1.sources.source1.bind...
2018-05-02 16:56:15
182
原创 haproxy安装配置
haproxy安装配置标签（空格分隔）： haproxy下载 [haproxy下载][1]编译安装 解压tar -zxvf haproxy-1.7.5.tar.gzln -s haproxy-1.7.5 haproxycd haproxy 安装 如果想开启SSL，需要在haproxy编译时加入配置项USE_OPENSSL=1，需...
2018-05-02 16:55:44
574
原创 hive集群配置 hive on spark
hive集群配置 hive on spark标签（空格分隔）： hiveHiveServer2的高可用-HA配置 HiveServer2的高可用-HA配置hive on spark 基于Spark 2.0.0搭建Hive on Spark环境编译spark hive on spark要求spark编译时不集成hive，编辑命令如下，需要安...
2018-05-02 16:55:14
3229
原创 hive hbase 配置
hive hbase 配置标签（空格分隔）： hiveHive2.x 版本的安装及配置 Hive2.x 版本的安装及配置 HiveServer2的高可用-HA配置 hive metastore ha 配置hive和hbase整合 在hive-site.xml中添加，$HIVE_HOME改成hive的目录，不能使用HIVE_HOME，system...
2018-05-02 16:54:40
1616
原创 Spark-2.1.2 Standalone模式集群部署
Spark-2.1.2 Standalone模式集群部署标签： spark下载Spark 下载压缩包：官方下载地址，根据需要选择spark版本和hadoop版本 spark-2.1.2依赖jdk1.7，spark-2.2.1依赖jdk1.8环境配置 解压spark-2.1.2-bin-hadoop2.6.tgz到安装目录，并配置环境变量 vi /etc/profileexpo
2018-05-02 16:52:10
228
原创 SparkSql集成hive访问hbase
SparkSql集成hive访问hbase标签（空格分隔）： spark SparkSql需要用到hive的元数据，有两种方式集成方式为使用buildin的hive直接连接hive的mysql元数据库 注：Spark自带的hive版本为1.2.1，实际测试发现，如果使用了高版本的hive集成，spark会自动将hive源数据库中的metastore version改为1.2.0，导致hiv
2018-05-02 16:51:33
1467
原创 windows下mvn多模块项目打包脚本
修改install变量和package变量，自动根据install的顺序去找同级目录install，最后到package目录进行package 脚本放在需要package的工程根目录@echo offrem 需要install的包，逗号分割set install="bw-im-msg,bw-service-dialog,bw-service-knowledge,bw-service-use
2018-05-02 16:49:00
1012
原创 Otter单向同步配置
Otter同步配置标签： Otter 配置视频 本文配置的同步方式为单向同步，其他同步方式配置请参考官方文档开启mysql日志 Otter要求源数据库开启mysql的binlog写入功能，建议配置binlog模式为row。 查询mysql的binlog模式：show global variables like '%binlog_format%'; 编辑/etc/my.co
2017-10-26 11:08:12
1369
原创 Otter配置说明
Otter配置说明标签： Otter下载 最新版Otter下载地址 CSDN下载地址 需要下载manager.deployer-4.2.13.tar.gz，node.deployer-4.2.13.tar.gz和Source code (zip) 需要安装zookeeper和jdk支持，canal已经内置，不需要安装 manager.deployer-4.2.14存在bug，建
2017-10-26 09:24:32
1888
原创 elasticsearch5.5+head+kibana 集群搭建
elasticsearch5.5 集群搭建环境 elasticsearch5.x需要jdk1.8指出，如果使用jdk1.7可以下载2.4.5 最新版本 2.4.5 本文搭建集群使用的版本为5.5，系统为CenterOS 本文搭建的环境所有节点同时是主节点和数据节点，集群较大时可以将主节点和数据节点分开，保证集群的稳定运行配置 节点配置如下cluster.name:
2017-07-19 16:01:18
1344
原创 kafka集群搭建
kafka集群搭建kafka集群需要zookeeper集群支持。本文使用的kafka版本为kafka_2.11-0.10.2.1，只需要jdk1.7。kafka_2.12-0.11.0.0需要jdk1.8。配置server.properties#每个节点单独配置#当前机器在集群中的唯一标识，每个节点都不能一样broker.id=0#这个参数默认是关闭的，可以不配置。host.name=1
2017-07-19 09:50:33
502
原创 Oozie4.1编译过程记录
oozie环境要求官网要求的编译环境如下，实际上不需要pig也可以编译成功。jdk和maven必须配置环境变量 - Unix box (tested on Mac OS X and Linux) - Java JDK 1.7+ - Maven 3.0.1+ - Hadoop 0.20.2+ - Pig 0.7+ 编译时默认hadoop版本为1.2.1，使用2.0.0+版本时可以指定编译
2017-06-01 10:14:11
710
原创 java调用hessian配置
简介因为公司的新项目不使用dubbo进行接口调用，为了复用dubbo部分的代码，将dubbo的接口改为hession接口。本教程使用hession-4.0.33实现java远程过程调用，并和spring进行集成，记录使用过程中出现的问题和解决方法。服务端提供hession服务需要定义接口和实现，然后通过spring暴露引用。pom<!-- hessian --><dependency>
2017-05-05 10:00:29
3364
原创 HUE安装问题
hue-3.12.0配置hive时部分配置项不生效，建议安装到和hive相同的服务器 hive_server_host配置项无效，server_user、server_group、default_user、default_hdfs_superuser也无效1、python: /lib64/libc.so.6: version `GLIBC_2.14’ not found http://www.c
2017-02-17 15:37:23
315
原创 mapreduce程序部署
一、打包 mapreduce程序打包有多种方式，使用fatjar的方式最简单方便。在pom文件插件中加入生成fatjar的插件：<plugin> <artifactId>maven-assembly-plugin</artifactId> <configuration> <archive> </archive> <descript
2016-11-07 15:39:11
2030
原创 OAuth2.0 Password接入说明
1.OAuth服务端需要引入pom<dependency> <groupId>com.whty</groupId> <artifactId>whty-framework-oauth</artifactId></dependency>2.项目必须配置redis，配置文件为cache.cfg 在需要进行OAuth权限校验的方法上加入注解@RequiresOAuth3.在客户端使用用户
2016-08-22 10:50:38
6361
1
原创 RabbitMQ RPC方式调用
队列配置、生产者配置、消费者配置和一般的mq配置相同。 reply-timeout是过期时间，可以写到配置文件中。<rabbit:template id="template" message-converter="messageConverter" connection-factory="connectionFactory" reply-timeout="2000" retry-templ
2016-08-19 15:18:19
4939
原创 RabbitMQ注解方式配置说明
RabbitMQ注解方式配置说明1、共通配置spring-rabbit使用1.6版本，需要spring 4.2以上才可以支持使用注解方式配置每个项目配置自己的exchange，格式为项目名称简写+exchange，如： rabbitmq.direct.exchange=ccs.direct.exchange 可以防止队列重名routeKey和queue的名称也要加上项目名称简写防止重名例
2016-08-17 14:34:06
40056
原创 第三部分：shiro集成spring使用cas单点登录配置
第三部分 shiro集成spring使用cas单点登录配置（一）shiro单点登录 配置的主要目的在于将登录页面改为${cas.server}?service=${cas.client}/login的形式，service后面为本地的回调地址。在cas服务器端登录成功后，会生成ticket返回给客户端，客户端的shiro使用ticket最为凭据保存起来。 shiro配置单点登陆后，在注
2016-01-13 16:44:52
16860
13
原创 第一部分：cas服务器端连接mysql配置
因公司要求使用cas服务器，公司原来有一个使用ajax方式进行单点登录的cas服务器，在项目上线后，发现问题太多，改为使用正常方式的cas服务器。客户端项目用到了两种权限管理框架，分别是shiro和spring security。整个过程分四部分记录修改过程，第一部分记录cas服务器连接mysql配置；第二部分记录cas服务器增加登录验证码；第三部分
2016-01-13 13:55:45
9022
2
otter-4.2.13
2017-10-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人