- 博客(13)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 About Hive
首先谈一下关于hive和hbase的区别的疑问（完全不是一个东西）： 本质上来说hive和hbase没什么关系，虽然都是表，查数据等，但是他们根本就不是一个层面的东西 hive就是一个rapduce的一个包装，hive就是将编写的sql转换成mapreduce任务 而hbase是什么呢？可以理解为是hdfs的一个包装，本质是数据存储的，一个nosql数据库，部署与hdfs之上的，...
2019-11-12 14:53:52
175
原创 Kafka 从入门到实战
1：最近发现有一个问题，原先我设计为了保证有序性，我将kafka 分区数设置为1， 生产者和消费者 按offset 消费我生产者采用异步投递消息，速度非常快我消费者采用手动提交，
2021-07-20 12:39:06
394
原创 Kafka 消费某些分区消费缓慢
Properties props = new Properties(); //kafka消费的的地址 props.put("bootstrap.servers", "master:9092,slave1:9092,slave2:9092"); //组名 不同组名可以重复消费 props.put("group.id", GROUPID); //是否自动提交 props.put("enable.auto.commit", "fa...
2021-06-07 23:49:52
1257
2
原创 利用 AWS api gateway Authorizers对访问进行 token校验 （JAVA开发）
前言：其实在AWS 官方文档上有写过demo,是采用的node.js这里我将会用java 的写法展示准备工作：1：创建一个 lambda (用于授权验证的lambda,以下简称 Auth-lambda)2:在 api gateway 创建Authorizers 手把手教程如下：当然可以自行参考AWS官方文档，写得也很详细 2.13:Auth-lambda 的编写 3.1:入口函数3.2 AuthPolicy 类的编写package com.test.la...
2020-09-11 14:07:31
1165
1
原创 AWS api gateway 中 api gateway domain name 和 customer domain name (域名)关联设置
前言AWS api gateway 中 api gateway domain name 和 customer domain name (域名)关联设置首先 api name其次 点击 customer domain name然后 设置对应的 api mapping配置 mapping所有被选择添加到 api mapping 中的 api gateway name 会自动绑定到 api gateway domain name==>继而映射到...
2020-09-11 13:10:04
559
原创 java8 lambda 操作List 转Map结构
我之前在开发中遇到一个问题记录一下：我从数据库查询后的结果是Name project score 风清扬 舞蹈 100 张无忌 体育 90 张学友 音乐 20 张学友 数学 88 数据库结果如上： 最后经过查询得到一个 List<User> userList;而我最终想要的结果是 Map<String,List<String>> resultMap 的结...
2020-06-17 09:23:58
681
原创 Hive 优化
首先hive本质就是mapreduce，那么优化就从mapreduce开始入手。然而mapreduce的执行快慢又和map和reduce的个数有关，所以我们先从这里下手，调整并发度。关于map的优化： 1.调整block 作业会通过input的目录产生一个或者多个map任务。set dfs.block.size 因为没份数据都是block，而block的大小直接影...
2019-11-12 14:57:10
133
原创 CenTos7 docker 的安装和卸载
卸载1.查询安装过的包yum list installed | grep dockerdocker-engine.x86_64 17.03.0.ce-1.el7.centos @dockerrepo 2.删除安装的软件包 yum -y remove docker-engine.x86_64 3.删除镜...
2018-12-28 15:00:00
598
原创 centos7 安装linux（爬坑篇）
第一、下载erlang和rabbitmq-server的rpm:http://www.rabbitmq.com/releases/erlang/erlang-19.0.4-1.el7.centos.x86_64.rpmhttp://www.rabbitmq.com/releases/rabbitmq-server/v3.6.6/rabbitmq-server-3.6.6-1.el7.noa...
2018-12-27 16:51:43
549
原创 springboot启动报错
以下是启动报错信息:首先说下我的层级目录和启动项然后我在web 层加入了 @RestController 注解在 Service 上面也加了 @Service 注解mapper 层也加了 @Mapper 注解因为一开始找不到Bean 我第一个想到的是 是不是没扫到包,我这里用的 springboot 2.0.3 版本org.springframework.bean...
2018-11-13 13:54:45
543
原创 springboot 启动报错
启动异常***************************APPLICATION FAILED TO START*************************** Description: Failed to configure a DataSource: no embedded datasource could be configured. Reaso...
2018-11-13 10:47:17
695
原创 XML文件中jdbcType=‘DATE‘ 和 TIMESTAMP 小记
今天做项目发现，数据库存的时间数据有年月日时分秒，但是页面上只有 年月日 时分秒为00-00-00.后来发现原来是 xml 文件中 我写的是DATE，他只能读取到年月日，改成TIMESTAMP ，就好了...
2018-08-10 16:39:06
2158
转载 Dubbo+zookeeper·
Dubbo 运行架构Provider：服务提供方 Consumer：服务消费者 Registry：注册中心 Monitor：统计服务调用次数和调用时间的监控中心调用流程 0.启动服务提供者。 1.服务提供者在启动时，向注册中心注册自己提供的服务。 2.服务消费者在启动时，向注册中心订阅自己所需的服务。 3.注册中心返回服务提供者地址列表给消费者，如果有变更，注册中心将基于长连接...
2018-07-23 15:22:25
175
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人