- 博客(19)
- 收藏
- 关注
RSS订阅原创 flink连接wsl上的kafka
win10上的IDEA中的flink连接wsl里的kafka时所遇问题win10本地idea中通过flink起了一个kafka消费者，可是在wsl里起的生产者发的消息idea这边的消费者都收不到，但是在wsl里的消费者能够收到，于是在win10上装了kafka，起了生产者，idea也能够收到了，但是，我不服，我就想用wsl，反反复复终于被我搞定了首先，cmd执行下ipconfig可以看到wsl有自己的ip然后，去修改kafka下面的配置文件，config/server.propertieslis
2021-01-24 16:19:21
355
转载 2021-01-05
Lambda表达式详解转载于：作者： 海向出处：https://www.cnblogs.com/haixiang/p/11029639.htmlLambda简介Lambda表达式是JDK8的一个新特性，可以取代大部分的匿名内部类，写出更优雅的 Java 代码，尤其在集合的遍历和其他集合操作中，可以极大地优化代码结构。JDK 也提供了大量的内置函数式接口供我们使用，使得 Lambda 表达式的运用更加方便、高效。对接口的要求虽然使用 Lambda 表达式可以对某些接口进行简单的实现，但并不
2021-01-05 08:06:07
132
原创 fastjson的serializerfaeture
在使用fastJson时，如果想把一个map转化成json字符串(比如保存进redis)，即JSON.toJSONString(map)有一个地方要注意,如果map的值为null，那么转化后是会被扔掉的，如下图解决方法JSON.toJSONString(map, SerializerFeature.WriteMapNullValue) 以指定的序列化方式转化即可可以看下toJSONString的源码static final SerializeFilter[] emptyFilters
2021-01-04 22:19:58
338
转载 ERROR 1201 (HY000): Could not initialize master info structure for ‘’； more error messages can be fo
ERROR 1201 (HY000): Could not initialize master info structure for ‘’; more error messages can be found in the MariaDB error log执行下列命令时change master to master_host='135.242.xx,xx', MASTER_USER='root', MASTER_PASSWORD='12345', MASTER_LOG_FILE='binlog.0000
2020-12-08 14:22:48
1487
1
转载 jstat命令详解
jstat命令可以查看堆内存各部分的使用量，以及加载类的数量。命令的格式如下： jstat [-命令选项] [vmid] [间隔时间/毫秒] [查询次数] 如 `jstat -gc 17718 250 20`, 即每250毫秒查询一次进程17718的垃圾收集情况，一共查询20次 注意！！！：使用的jdk版本是jdk8. 类加载统计： ...
2020-10-11 09:54:47
682
原创 elasticalert
elastalert安装部署问题收集官网文档：https://elastalert.readthedocs.io/en/latest/running_elastalert.html#tutorial开始安装：git clone https://github.com/Yelp/elastalert.git cd elastalert python setup.py install pip install -r requirements.txt {
2020-09-29 16:23:56
1248
原创 ELK安装部署所遇错误
##安装部署elasticsearch时遇到的错误以及解决办法max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]原因：elk用户内存不足解决：root用户下进入/etc/sysctl.conf 文件中，最后加一行vm.max_map_count=655360即可the default discovery settings are unsuitable for p
2020-08-31 22:13:30
134
原创 FsImage与edits
1. Fsimage中没有记录块所对应DataNode，为什么？答：在fsimage中，并没有记录每一个block对应到哪几个datanodes的对应表信息，而只是存储了所有的关于namespace的相关信息。而真正每个block对应到datanodes列表的信息在hadoop中并没有进行持久化存储，而是在所有datanode启动时，每个datanode对本地磁盘进行扫描，将本datanode上保存的block信息汇报给namenode，namenode在接收到每个datanode的块信息汇报后，将接收到
2020-06-09 00:01:38
754
1
原创 Encountered bad header at position -- of commit log
cassandra有一日一个节点挂掉了，查询日志发现报错如下 of commit log /CASSANDRA_CL/cassandra/commitlog/CommitLog-600-1589017335228.log, with bad position but valid CRCERROR [main] 2020-05-20 01:34:57,651 CommitLogReplayer.java:435 - Replay stopped. If you wish to override this
2020-05-22 16:55:50
204
原创 ELK部署教程
ELK部署教程背景原因什么的就不费话了，直接开始吧我的流程是这样的filebeat --> logstash --> elasticsearch --> kibana 有没有很简单filbeat会部署在多个服务器上收集日志，后三个部署在单独的服务器上版本：java: 1.8filebeat, logstash, elasticsearch, kibana: 7.0.0为了不必要的麻烦，尽量选择一直的版本产品下载地址：https://www.elastic.c
2020-05-22 16:34:07
435
原创 nodeport vs loadbalance vs ingress
nodeport， loadbalance， ingress今天的review会议上被问到为什么会出现ingress资源，为什么要用域名，解释半天没说清楚，后来发现我对k8s里面的几种服务也有点忘却了，晚上再回忆一下首先，介绍一下endpoint资源，服务并没有和pod直接相连，有一种资源介于他们两者之间-----endpoint对一个service运行kubectl describe sv...
2020-03-24 23:19:28
843
原创 ingress-controller
Ingress，Ingress-controller今天上班想设置ingress的keepalive，碰到了ingress-controller，之前用Google的GCE学习k8s他是默认在master建好了这玩意，所以没多少了解，今天再看这东西看的头大，各种博客全是抄来抄去，看到最后也没弄明白下面一张图，晚上再搞一下，终于弄明白了主要是解释下这张图，做个记录，免得自己忘了首先，ingr...
2020-03-17 23:32:22
2368
原创 cassandra读写数据
cassandra读写数据写写一致性级别cassandra的可调一致性级别意味着你可以在查询中指定所需的写操作一致性，一致性级别越高，说明需要更多的副本节点相应才能认为写操作完成，更高的一致性级别还可能带来可用性的下降，因为必须有更多的节点可以使用，写操作才能成功一致性级别含义ANY返回到客户端之前，确保这个值写入一个副本节点，提示可以算作一个写操作ONE, T...
2020-02-04 20:57:23
823
原创 Kubernetes命令
k = kubectl2. 开始使用Kubernetes和Dockerbusybox是一个单一可执行文件，包含多种标准的UNIX命令行工具，如：echo，ls, gzip等，除了包含echo命令的busybox命令，也可以使用如Fedora，Ubuntu等功能完备...
2020-01-03 23:23:14
263
原创 Hadoop文件读取和写入剖析
Hadoop文件读取和写入剖析文件读取剖析客户端通过调用FileSystem对象的open()方法来打开希望读取的文件，对于HDFS来说，这个对象是DistributedFileSystem的一个实例，DistributedFileSystem通过使用远程过程调用(RPC)来调用namenode，以确定文件起始块的位置(步骤2)，对于每一个块，namenode返回存有该块副本的datanod...
2019-12-18 22:58:33
233
原创 kubernetes中的高级调度
kubernetes中的高级调度我们在创建一个pod后会有调度器按照一定规则调度到某个节点上去，那么如果我不想让这个pod被调度到某一个节点上去该怎么办？或者我想让这个pod被调度到特定节点上去该如何？1. 使用污点和容忍度阻止节点调度到特定节点污点：是在不修改已有pod信息的前提下，通过在节点上添加污点信息，来拒绝pod在某些节点上的部署，可以暂时把它想象成一个标签，pod中如果没有这个对...
2019-11-10 20:45:43
622
1
原创 隔离pod的网络
隔离pod的网络需求：限制pod可以与其他哪些pod进行通信来确保pod之间的网络安全，或者限制pod对外的访问流量是否可以进行此种配置取决于集群中使用的容器网络插件，如果网络插件支持，可以通过NetworkPolicy资源配置网络隔离networkpolicy会应用在匹配他的标签选择器上的pod，指明允许访问这些pod的源地址或这些pod可以访问的目标地址，分别有入向(ingress, ...
2019-11-06 09:58:14
1042
原创 podsecuritypolicy
对不同的用户和组分配不同的PodSecurityPolicyPodSecurityPolicy是集群级别的资源，意味着他不能存储和应用在某一特定的命名空间上；对不同的用户分配不同的PodSecurityPolicy是通过RBAC机制来实现的k=kubetcl首先，创建一个允许部署特权容器的PodSecurityPolicyapiVersion: extensions/v1beta1ki...
2019-11-05 09:21:33
2040
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人