![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习
starGoLine
这个作者很懒,什么都没留下…
展开
-
自定义输出文件outputformat
应用之前学过的一个案例结合自定义OutPutFormat,进行输出文件名字自定义。(不使用默认的part-r-00000)对日志文件中的GET 和 POST 和其他类型 请求分离输出分别输入到get.txt ,post.txt,other.txt自定义RecordWriter类package com.bigdata.outputformat;import org.apache.h...转载 2019-06-25 10:12:53 · 283 阅读 · 0 评论 -
azkaban多job串联执行
关于共同好友查找的多job串联 azkaban执行源文件1.jobtype=commandcommand=/opt/model/hadoop-2.8.4/bin/hadoop jar /opt/model/aztest/itstar-1.0-SNAPSHOT.jar com.bigdata.friends.friends1.FriendsMain1 /wordcount/friends.t...转载 2019-07-20 23:24:23 · 598 阅读 · 0 评论 -
练习hbase基本语句
1.创建一张表:person,有两个列簇(student,teacher)2.第一个列簇的版本保留三份,第二个两份。3.插入10行数据姓名,性别,年龄,成绩;姓名,所教科目等等。4.扫描查看4到8行的数据。5.查看第10行数据。6.查看第7行数据的学生列簇的姓名。7.删除表。1题结果2.题结果3题结果4题结果5题结果6题结果7题结果...转载 2019-07-23 22:32:00 · 476 阅读 · 0 评论 -
flume数据采集扇入
.conf文件的定义#1 Agenta3.sources = r3 r4a3.sinks = k3a3.channels = c3#2 source#监控目录的类型a3.sources.r3.type = spooldir#监控目录的路径a3.sources.r3.spoolDir = /opt/model/hadoop-2.8.4/logs#哪个文件上传hdfs,然后给这个...转载 2019-07-05 16:02:07 · 138 阅读 · 0 评论 -
消息队列的初步认识
先搞清楚几个问题1:为什么使用消息队列?2:使用消息队列有什么缺点?3:消息队列如何选型?4:如何保证消息队列是高可用的?5:如何保证消息不被重复消费?6:如何保证消费的可靠性传输?7:如何保证消息的顺序性?1.为什么要使用消息队列回答这个问题主要从三个主要场景来解释。总结起来就6个字(解耦,削峰,异步)解耦传统模式的缺点:系统间耦合性太强,如上图所示,系统A在代码中直接调用...转载 2019-07-04 14:42:34 · 145 阅读 · 0 评论 -
Nginx学习之HTTP/2.0配置
随着互联网的快速发展,HTTP1.x协议得到了迅猛发展,但当网站一个页面包含了数几十个请求时,HTTP1.x协议的局限性便暴露了出来:每个请求与响应需要单独建立链路进行请求(Connection字段能够解决部分问题),浪费资源。每个请求与响应都需要添加完整的头信息,应用数据传输效率较低。默认没有进行加密,数据在传输过程中容易被监听与篡改。HTTP/2 协议于 2015 年 5 月 14 日...转载 2019-07-03 16:16:10 · 219 阅读 · 0 评论 -
Nginx学习之缓存配置
项目采用的是Nginx+Tomcat,Nginx处理静态请求并缓存,Tomcat处理动态请求。缓存配置proxy_cache.conf:#设置Web缓存区名称为cache,内存缓存空间大小为200MB#1天没有被访问的内容自动清除,硬盘缓存空间大小为10GB#levels=1:2 表示缓存目录的第一级目录是1个字符,第二级目录是2个字符#proxy_cache_key 设置缓存的key...转载 2019-07-03 16:04:59 · 229 阅读 · 0 评论 -
Nginx如何防止流量攻击
使用场景最近,报告查询系统负载均衡集群相关配置已经完成,两种实现方式分别是基于Ehcache和Redis的session管理策略。大家都知道服务器资源有限的,但是客户端来的请求是无限的(不排除恶意攻击), 为了保证大部分的请求能够正常响应,不得不放弃一些客户端来的请求,所以我们会采用Nginx的限流操作, 这种操作可以很大程度上缓解服务器的压力, 使其他正常的请求能够得到正常响应。如何使用N...转载 2019-07-03 15:57:49 · 1286 阅读 · 0 评论 -
SpringBoot开发案例之整合Kafka实现消息队列
前言最近在做一款秒杀的案例,涉及到了同步锁、数据库锁、分布式锁、进程内队列以及分布式消息队列,这里对SpringBoot集成Kafka实现消息队列做一个简单的记录。Kafka简介Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其...转载 2019-07-03 15:38:32 · 936 阅读 · 0 评论 -
Nginx负载均衡
负载均衡负载均衡 建立在现有网络结构之上,它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。负载均衡,英文名称为Load Balance,其意思就是分摊到多个操作单元上进行执行,例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等,从而共同完成工作任务。架构图负载均衡策略Nginx 提供轮询(rou...转载 2019-07-03 14:58:08 · 87 阅读 · 0 评论 -
flume监控端口;文件;目录三种方式
案例一:监控端口数据112主机端口输入数据112主机控制台监控结果案例二:实时读取本地文件到HDFS转载 2019-07-03 02:29:14 · 1217 阅读 · 0 评论 -
从hdfs读数据到hbase
package com.bigdata.hbase.hdfstohbase;import org.apache.hadoop.hbase.client.Put;import org.apache.hadoop.hbase.io.ImmutableBytesWritable;import org.apache.hadoop.hbase.util.Bytes;import org.apach...转载 2019-07-26 01:03:50 · 398 阅读 · 0 评论