2019年07月_游九河

原创 jvm -- jps

jps是jdk提供的一个查看当前java进程的命令，可以看做是JavaVirtual Machine Process Status Tool的缩写。用法：usage: jps [-help] jps [-q] [-mlvV] [<hostid>]Definitions: <hostid>: <hostname>[:&lt...

2019-07-30 10:08:12 185

Connection to node -1 could not be established. Broker may not be available.生成者发送消息，在集群上的消费者能接收到消息，但远程的java消费者客户端接收不到，并一直报Connection to node -1 could not be established. Broker may not be available....

2019-07-29 19:59:09 1132

原创 Elasticsearch kibana -- 时区

今天遇到 kibana 和 Elasticsearch 时区不一致，导致有数据时间段内的查询出现异常，其可视化出现图形位移现象。如：时间是 2019-07-13 10:56:24 却被分到 2019-07-13 18:56:24的桶了查看了源数据中同一时间段的数据没有，判断是时区出了问题查找 es 的默认时区。在官网中找到下面一句，默认是UTC Date-times are stor...

2019-07-25 17:49:16 1064

原创 flink -- 分布式缓存

现在有两种相关的数据，A：机器位置数据，B：机器状态巡检数据机器位置数据A（：数据量小）ip位置192.168.100.1机柜1编号1机器192.168.100.2机柜1编号2机器192.168.100.3机柜1编号3机器192.168.100.4机柜1编号4机器192.168.100.5机柜1编号5机器192.168.100.6...

2019-07-17 15:50:24 380

原创运维 -- 虚拟机给磁盘扩容

一、删除快照二、在vmware中扩展磁盘容量三、安装gpartedsudo apt-get install -y gparted四、打开gparted图形化界面开启linux d@ubuntu:~$ sudo gparted五、关闭extended先关闭linux-swap关闭 extended 上的钥匙图标消失六、调整 extended 的大小选中 -...

2019-07-16 19:35:26 1302

原创 spark与mysql整合

maven添加msyql 依赖  <dependency> <groupId>org.apache.spark</groupId> <...

2019-07-11 16:50:33 349

原创 spark与Elasticsearch整合

maven添加依赖  <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-c...

2019-07-11 16:40:36 886

原创 JVM -- 查看内存

如何获得JVM的最大可用内存在命令行下用java -Xmx1200m -XX:MaxPermSize=60m -version 命令来进行测试，然后逐渐的增大XXXX的值，如果执行正常就表示指定的内存大小可用，否则会打印错误信息。最后得到的虚拟机实际分配到的总内存大小=堆内存+非堆内存1200m：为堆内存大小，-Xmx为设置最大堆内存60m：为非堆内存大小，-XX:MaxPermS...

2019-07-05 16:31:32 144

原创 Elasticsearch -- search_after

Elasticsearch 搜索返回的数据默认最大为 10000 条，如果需要返回全部的数据，需要修改默认配置或者 scroll 或者 search after 的解决方案。其中 search after 解决方案不需要额外的配置和操作是三者中最合适的解决方案使用 HTTP 请求实践GET phonebills/_search{ "query": { "term": { ...

2019-07-04 11:39:35 5985 1

原创 CentOS7 yum安装MySQ

MySQL 看日志sudo journalctl -u mysqld

2019-07-01 11:09:29 200

qq_40337206的博客