- 博客(12)
- 收藏
- 关注
RSS订阅转载 从hdfs读数据到hbase
package com.bigdata.hbase.hdfstohbase;import org.apache.hadoop.hbase.client.Put;import org.apache.hadoop.hbase.io.ImmutableBytesWritable;import org.apache.hadoop.hbase.util.Bytes;import org.apach...
2019-07-26 01:03:50
398
转载 练习hbase基本语句
1.创建一张表：person，有两个列簇（student，teacher）2.第一个列簇的版本保留三份，第二个两份。3.插入10行数据姓名，性别，年龄，成绩；姓名，所教科目等等。4.扫描查看4到8行的数据。5.查看第10行数据。6.查看第7行数据的学生列簇的姓名。7.删除表。1题结果2.题结果3题结果4题结果5题结果6题结果7题结果...
2019-07-23 22:32:00
476
转载 azkaban多job串联执行
关于共同好友查找的多job串联 azkaban执行源文件1.jobtype=commandcommand=/opt/model/hadoop-2.8.4/bin/hadoop jar /opt/model/aztest/itstar-1.0-SNAPSHOT.jar com.bigdata.friends.friends1.FriendsMain1 /wordcount/friends.t...
2019-07-20 23:24:23
597
转载 flume数据采集扇入
.conf文件的定义#1 Agenta3.sources = r3 r4a3.sinks = k3a3.channels = c3#2 source#监控目录的类型a3.sources.r3.type = spooldir#监控目录的路径a3.sources.r3.spoolDir = /opt/model/hadoop-2.8.4/logs#哪个文件上传hdfs，然后给这个...
2019-07-05 16:02:07
135
转载 消息队列的初步认识
先搞清楚几个问题1：为什么使用消息队列？2：使用消息队列有什么缺点？3：消息队列如何选型？4：如何保证消息队列是高可用的？5：如何保证消息不被重复消费？6：如何保证消费的可靠性传输？7：如何保证消息的顺序性？1.为什么要使用消息队列回答这个问题主要从三个主要场景来解释。总结起来就6个字（解耦，削峰，异步）解耦传统模式的缺点：系统间耦合性太强，如上图所示，系统A在代码中直接调用...
2019-07-04 14:42:34
143
转载 Nginx学习之HTTP/2.0配置
随着互联网的快速发展，HTTP1.x协议得到了迅猛发展，但当网站一个页面包含了数几十个请求时，HTTP1.x协议的局限性便暴露了出来：每个请求与响应需要单独建立链路进行请求(Connection字段能够解决部分问题)，浪费资源。每个请求与响应都需要添加完整的头信息，应用数据传输效率较低。默认没有进行加密，数据在传输过程中容易被监听与篡改。HTTP/2 协议于 2015 年 5 月 14 日...
2019-07-03 16:16:10
214
转载 Nginx学习之缓存配置
项目采用的是Nginx+Tomcat，Nginx处理静态请求并缓存，Tomcat处理动态请求。缓存配置proxy_cache.conf：#设置Web缓存区名称为cache，内存缓存空间大小为200MB#1天没有被访问的内容自动清除，硬盘缓存空间大小为10GB#levels=1:2 表示缓存目录的第一级目录是1个字符，第二级目录是2个字符#proxy_cache_key 设置缓存的key...
2019-07-03 16:04:59
223
转载 Nginx如何防止流量攻击
使用场景最近，报告查询系统负载均衡集群相关配置已经完成，两种实现方式分别是基于Ehcache和Redis的session管理策略。大家都知道服务器资源有限的，但是客户端来的请求是无限的(不排除恶意攻击)， 为了保证大部分的请求能够正常响应，不得不放弃一些客户端来的请求，所以我们会采用Nginx的限流操作， 这种操作可以很大程度上缓解服务器的压力， 使其他正常的请求能够得到正常响应。如何使用N...
2019-07-03 15:57:49
1279
转载 SpringBoot开发案例之整合Kafka实现消息队列
前言最近在做一款秒杀的案例，涉及到了同步锁、数据库锁、分布式锁、进程内队列以及分布式消息队列，这里对SpringBoot集成Kafka实现消息队列做一个简单的记录。Kafka简介Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其...
2019-07-03 15:38:32
934
转载 Nginx负载均衡
负载均衡负载均衡 建立在现有网络结构之上，它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。负载均衡，英文名称为Load Balance，其意思就是分摊到多个操作单元上进行执行，例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等，从而共同完成工作任务。架构图负载均衡策略Nginx 提供轮询（rou...
2019-07-03 14:58:08
82
转载 自定义输出文件outputformat
应用之前学过的一个案例结合自定义OutPutFormat，进行输出文件名字自定义。（不使用默认的part-r-00000）对日志文件中的GET 和 POST 和其他类型 请求分离输出分别输入到get.txt ,post.txt，other.txt自定义RecordWriter类package com.bigdata.outputformat;import org.apache.h...
2019-06-25 10:12:53
281
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人