- 博客(19)
- 收藏
- 关注
RSS订阅原创 elasticsearch学习笔记
es获取mapping curl 'localhost:9200/index/type/_mapping?pretty' 设置一个新的映射 curl -XPUT 'localhost:9200/index_mapping/type' -d '{ "type" : { "properties" : { "host" :{ "type" :"str...
2020-07-16 18:16:43
192
原创 MAC Iterm2 设置免密登陆闪退
之前使用Iterm2总是连接不上，然后闪退，报错如下：后来终于发现原因，是因为必须要先登陆该服务器才行，比如图中的我想设置连接172.24.8.189免密，就必须要先登陆一下172.24.8.189服务器，然后第二次登陆的时候才可以免密，希望可以帮助到跟我遇到一样问题的人...
2019-04-24 09:20:34
809
原创 spring cloud(2)----负载均衡 Ribbon
在spring cloud中使用负载均衡非常简单1.服务提供者只需要启动多个服务实力并注册到一个注册中心或是多个相关联的服务注册中心2.服务消费者直接通过调用被@LoadBalanced注解秀试过的RestTemplate来实现面向服务的接口调用RestTemplate详解GET请求1.getForEntity函数，该方法返回的是ResponseEntityRestT...
2019-04-21 22:28:52
114
原创 spring cloud(1) ---- 服务治理 Eureka
一.搭建服务注册中心：maven：<dependencies> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-netflix-eu...
2019-04-21 21:38:02
93
原创 SpringBoot JPA 设置双数据源
1.application.yml配置文件spring: profiles: test datasource: primary: url: jdbc:mysql://127.0.0.1:3306/ww_spider?autoReconnect=true&useSSL=false&characterEncoding=UTF-8 usern...
2019-02-15 10:13:07
1714
原创 SpringBoot 部分注解
1.定时器 @Configuration@EnableSchedulingpublic class Jobs { @Scheduled(cron = "0/20 * * * * ?") // 每20秒执行一次 public void test(){ System.out.println("执行定时任务"); }}配置一个定时任务：@Ena...
2019-02-14 14:34:05
101
原创 kafka(5) ===》 broker
1.当一个broker加入集群的时候会把自己的id注册到zookeeper上，如果broker停机，会从zookeeper中删除临时节点，如果他以相同的id启动一个新的broker加入集群，那他会被分配相同的分区和副本2.kafka使用zookeeper的临时节点来选举控制器，并在节点加入集群或退出集群时通知控制器，控制器负责咋节点加入或离开集群时进行分区首领选举，控制其使用epoch来避免脑...
2018-12-15 16:18:46
86
原创 kafka(4) ===》 消费者配置参数
消费者可以有单个消费者，也可以有多个消费者群组的形式消费者是每一组都能得到全部的消息，但是组内是竞争的关系每个消费组内消费者的数量不要多余分区的数量，最好是数量相同（因为多出来的会没有作用，不工作）1.max.partition.fetch.tytes：服务器从每个分区里返回给消费者的最大字节数，默认是1M2.session.timeout.ms:消费者最大超时时间，超过这个时间不...
2018-12-15 15:25:49
233
原创 kafka(3) ===> 生产者配置
由于生产者javaAPI相关博客有很多我就懒得写了，这里写一下生产者中可以配置的参数1.acks: 0：不管broker接没接收到都不去管，直接返回成功 1：只要分区首领接受到了就算是成功 all：所有副本都接受到才算是成功2.buffer.memory:生产者用他来缓冲要发送到服务器上的消息，如果应用程序发送消息的速度超过发送到服务器上的速度，有可能曹成生产...
2018-12-15 12:16:45
165
原创 kafka(2) ===》 broker/topic常规配置
broker:1.broker.id: 集群中每一个broker的broker.id需要是唯一的整数，用来标识broker2.port：启动端口，默认9092（不建议修改）3.zookeeper.connect: zookeeper地址 host:port/path eg· localhost:2181/kafka08 /path是可选的zookeep...
2018-12-15 11:57:51
248
原创 kafka(1) ====》 安装kafka
kafka的安装依赖于java，zookeeper：但是这里对于java、zookeeper的安装就不做过多的描述，网上安装教程有很多。这里假设你已经安装好java和zookeeper了首先下载一个kafka的安装包，地址：http://kafka.apache.org/downloads安装步骤很简单1) tar -zxf kafka_2.11-0.9.0.1.tgz2)...
2018-12-15 11:27:46
114
原创 POI导出excel时，当有大量超链接存在，导出速度慢
最近修改项目，发现用SXSSF导出的excel有大量超链接的时候，写文件的速度会非常慢 后来查了谷歌，发现是jar包的BUG，不要使用3.10以下的jar包，我用的3.12的jar包就不存在这个问题了...
2018-11-12 13:52:33
1120
原创 POI 编辑超链接异常 URISyntaxException Address of hyperlink must be a valid URI
最近编辑超链接的时候发现总是会有这个异常，找了找国内博客没找到什么有价值的信息，于是在google上发现几篇文章，说的都是url格式不符合poi的校验。只有SXSSF才会有这个问题，HSSF不会有。 解决的办法无非都是把自己的url来适配poi的格式校验 我这里的做法是把url转换为短连接，用的是百度的短连接转换接口（免费的），但是百度的短连接转换接口有的连接转换不了。...
2018-11-12 13:48:02
3011
原创 kafka操作命令
1.从topic中读取数据通过grep设置关键词过滤保存到文件中 bash kafka-console-consumer.sh --zookeeper mfcrawl01.eastus.cloudapp.azure.com:2181/kafka08 --topic DS.crawl.output.mf.azure.foreign --from-beginning | grep keyword...
2018-06-27 14:28:09
771
原创 git一些操作心得
1) 将修改的代码push到远程仓库: 1. git add *(或者加文件路径) 2. git commit -m '备注' 3. git pull --rebase origin 分支名称 4. git push origin 分支名称2) 如果没有确认要提交的时候不要把代码add操作,add之后下次如果不小心又add了,会造成冲突,不太好解决3) 使用eclipse操...
2018-05-03 12:06:42
94
原创 linux下安装elasticsearch-HQ
因为elasticsearch-HQ需要python的支持,所以先要安装python,这里注意一下版本要求3.4+我这里下载安装的是anaconda(因为anaconda中集成了很多python的包)下载anaconda的地址https://mirrors.ustc.edu.cn/anaconda/pkgs/free/linux-64/我这里下载的是anaconda3-5.1.0上传到服务器上之后...
2018-04-23 18:57:55
1073
原创 使用java获取Elasticsearch索引中segment的数量
今天需要获取segment的数量 但是翻遍了百度都找不到 最后是领导在programcreek中帮我找到的IndicesStatsResponse stats = client.admin().indices().prepareStats(indexName).setSegments(true).get(); stats.getTotal().getSegments().getCount();...
2018-04-18 19:02:12
2651
原创 java 链接ftps服务器
之前链接ftps服务器时候创建client的时候总是链接不上,后来找到原因我之前用的包时commons.net 1.3的版本后来改成commons.net 3.1的这个版本中有一个FTPSclient方法 用于链接fpts服务器具体链接代码:maven导的包<dependency><groupId>com...
2018-04-13 14:44:35
5221
3
原创 maven打jar包时配置文件打到包里并读取
有需求需要用jar包运行程序,但是在正常时候配置文件还可以找到,在jar包中则不能找到后来发现原因,配置文件要放到resources下 ,这样maven打包时才会把jar包打进去目录结构:导入配置文件代码:...
2018-04-12 17:21:20
3164
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人