RedStarOfSleep's Blog

Red Star Of Sleep

Hadoop全分布安装--使用JournalManager

我是在ubuntu上安装的Hadoop,ubuntu版本14.04和16.04都有,关系不大。使用了3台服务器。 总共安装了2个nameNode,3个dataNode,3个journalNode 下面是安装步骤: 1. 安装JDK:我安装的是1.8。     jdk安装方法,参照以前的: ...

2018-10-12 13:38:37

阅读数 107

评论数 0

spark streaming流式处理kafka中的数据(java)

spark streaming是spark中用来处理流式数据的,用来对接各类消息队列是极好的。spark streaming并不是真正实时的流式处理,它本质上还是批处理,只是每一个批次间隔的时间很短。 我是用java来写的。跟大佬们的scala不能比,没有scala简洁。。 先是maven需要...

2018-07-19 10:39:11

阅读数 2508

评论数 0

spark独立集群管理器的安装配置

我是在ubuntu14.04上安装配置spark的。spark的版本是2.3.0。 首先是很重要的准备工作,配置各台机器的主机名hostname。可先输入命令hostname查看机器的当前主机名。 编辑/etc/hostname,修改主机名,每台机器都改成不一样的。改完后再输入hostname...

2018-07-19 09:49:44

阅读数 317

评论数 0

Docker容器中运行nginx

Dockerfile如下:FROM ubuntu:14.04 MAINTAINER XXX "xxx@XXXXX.com" RUN mv /etc/apt/sources.list /etc/apt/sources.list.bak WORKDIR /etc/a...

2018-03-30 14:25:40

阅读数 735

评论数 0

Docker容器中运行flume

flume配置文件如下:# Name the components on this agent app1.sources = r1 app1.sinks = k1 app1.channels = c1 # Describe/configure the source app1.sources.r1...

2018-03-30 14:11:13

阅读数 1217

评论数 0

Springboot整合log4j2并将日志发送到flume

springboot整合log4j2大体步骤是很简单的,只是中间有一些小细节需要注意。首先pom文件中增加log4j2<dependency> <groupId>org.springframewor...

2018-03-21 15:35:56

阅读数 3383

评论数 0

springboot整合AOP(JointPoint找不到)

springboot整合aop按照例子本来很简单,但是过程中间有可能会有一个坑。先来官方标准做法:我的springboot用的版本是1.5.6.RELEASE。在pom.xml中加入aop的依赖就可以了:<dependency> &...

2018-03-08 10:22:21

阅读数 647

评论数 0

Zookeeper集群的安装与配置

Zookeeper集群的安装配置实际上非常简单,只需编辑几个配置文件即可。 有一点需要注意的,Zookeeper集群中Zookeeper服务的数量尽量是奇数个,因为Zookeeper的仲裁机制要求超过半数的服务正常才可以,所以如果是4个的话,那两个正常是无法工作的,必须要3个正常才行。因此zook...

2017-11-21 16:33:19

阅读数 297

评论数 0

springboot整合mongodb

springboot访问mongodb,官方已经有了很好的集成。 首先建立依赖: org.springframework.boot spring-boot-starter-data-mongodb 然后在配置文件中配置mongodb的连接地址,用户名...

2017-09-30 10:42:33

阅读数 414

评论数 0

springboot整合mybatis

springboot整合mybatis需要依赖org.mybatis.spring.boot,相应数据库的jdbc包当然也是要加的 org.mybatis.spring.boot mybatis-spring-boot-starter 1.3.1 ...

2017-09-29 10:08:05

阅读数 233

评论数 0

springboot整合activemq

springboot整合activemq是非常简单的。 首先依赖spring-boot-starter-activemq。 org.springframework.boot spring-boot-starter-activemq 然后在配置文...

2017-09-29 09:48:53

阅读数 273

评论数 0

ubuntu下配置网络(IP、网关、DNS)

命令行下直接配置: 配置IP和子网掩码: ifconfig eth0 192.168.2.1 netmask 255.255.255.0 设置网关: route add default gw 192.168.2.254 命令行下直接配置在机器重启后就无效了,需要重新配置。要一直有效就需要改配置文...

2017-08-23 09:38:12

阅读数 853

评论数 0

初识hadoop--(2)通过java操作hdfs

要通过本地windows上的java代码操作远程hdfs,首先需要在windows上装个小工具: https://github.com/steveloughran/winutils 官方提供的工具。 然后配置环境变量指向这个工具的安装路径: HADOOP_HOME: C:\Users\lh...

2017-08-15 13:11:11

阅读数 262

评论数 0

初识hadoop hdfs--(1)安装

我是在ubuntu14.04上安装的最简单的单点的hadoop,按照官方文档安装的。 首先要安装几个必备的软件 1. 安装jdk. 从oracle官网下载jdk,jdk-8u77-linux-x64.tar.gz, 然后解压缩 tar -xzvf jdk-8u77-linux-x64.tar...

2017-08-15 12:51:48

阅读数 247

评论数 0

nginx配置https【转】

nginx要实现ssl,在编译时要添加--with-http_ssl_module,如: ./configure --with-http_ssl_module #cd /usr/local/nginx/conf #mkdir ssl #cd ssl 生成一个私有key # open...

2017-08-10 13:24:21

阅读数 226

评论数 0

docker中运行activemq

Dockerfile如下: FROM ubuntu:14.04 MAINTAINER *** "****@*****.com" RUN apt-get update ADD jdk-8u77-linux-x64.tar.gz /usr/local/java RUN cp /e...

2017-08-08 16:10:27

阅读数 1867

评论数 0

docker中运行redis

Dockerfile如下: FROM ubuntu:14.04 MAINTAINER ******* "***@******.com" RUN apt-get update RUN apt-get install -y redis-server RUN ln -sf /usr...

2017-08-08 16:05:54

阅读数 223

评论数 0

用Dockerfile构建java web环境(2)

Dockerfile有两种写法: (1) FROM ubuntu:14.04 MAINTAINER *** "***@******.com" RUN apt-get update ADD jdk-8u77-linux-x64.tar.gz /usr/local/java RUN...

2017-08-07 15:59:49

阅读数 342

评论数 0

nginx代理udp

nginx是支持udp或者tcp的代理或者负载均衡的。是通过stream模块来支持udp的。 首先在编译过程中就需要开启stream模块: ./configure --prefix=/usr/local/nginx --with-pcre=/home/temp/nginx/pcre-8.32 --...

2017-08-07 13:34:16

阅读数 1312

评论数 0

nginx负载均衡及主备配置

先负载均衡 nginx的负载均衡有4种模式: 1)、轮询(默认)       每个请求按时间顺序逐一分配到不同的后端服务器,如果后端服务器down掉,能自动剔除。 2)、weight       指定轮询几率,weight和访问比率成正比,用于后端服务器性能不均的情况。 2)、ip_ha...

2017-07-06 16:54:38

阅读数 4556

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭