自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

z的博客

Programming with C++, Java, Python. Interested in HadoopecoSys, ML, DistributedSys and JavaEESys

转载 c程序利用backtrace打印堆栈

写C程序最爽的是什么?我觉得是其中灵活的指针用法能让coder发挥各种想象力和创造力。那最郁闷的是啥?差不多就是N多指针满天飞之后程序一运行就直接segment fault了。这种运行时错误不像编译时错误有明显的错误提示,所以往往很难定位。今天看redis源代码,看见了一个比较不错的追踪此类问题的方式。Segment fault是怎样产生的一般导致segment fault错误的原因都是程...

2020-03-25 12:37:13 138

转载 编译警告"struct declared inside parameter list"

近来在阅读linux-2.6.37中cgroup的相关代码,读到include/linux/cgroup.h的开头时犯了嘀咕:#include <linux/sched.h>#include <linux/cpumask.h>#include <linux/nodemask.h>#include <linux/rcupdate.h>...

2020-03-11 08:03:10 737

转载 nginx的tcp代理能力

原文链接:http://blog.51cto.com/3774912/2391430现在很多的企业将业务转移到云上,如果数据库服务器直接暴露在公网,存在被***的风险,云服务器上的mysql 3306端口基本不对外开放。我们如果想通过外网直接访问mysql怎么做呢,这里我们可以使用nginx端口转发来实现。1:首先安装nginx./configure --prefix=/applicati...

2019-11-28 16:20:03 98

原创 谈一谈https

https比http多干的事情1、客户端向服务端请求https连接获取证书(公钥)2、客户端给服务器发送(对称加密<公钥>):随机数 的密文3、客户端同时给服务端发送:(对称加密<公钥>):随机数+私钥的密文4、服务器根据公钥解密出随机数,同时解密出私钥5、客户端使用非对称加密进行数据传输,客户端使用公钥加密,服务器使用私钥解密...

2019-10-05 17:20:08 72

原创 缓存数据一致性问题方案

1、数据实时同步失效 1.1类型:增量、主动 1.2实现方式:强一致性,更新数据库之后主动淘汰缓存,读请求更新缓存,为避免缓存雪崩,更新缓存的过程需要进行同步控制,同一时间只允许一个请求访问数据库,为了保证数据的一致性还要加上缓存失效时间。2、数据准实时更新 2.1类型:增量、被动 2.2实现方式:准一致性,更新数据库后,异步更新缓存,使用多线程技术或者...

2019-10-05 17:08:02 151

原创 构建容器网络-snat

在构建容器网络的时候,一般使用bridge来实现ns与外部网络通信,masquerage算snat的一种变种,被广泛使用。下面的链接对masquerage进行了比较详细的介绍。https://www.cnblogs.com/Dicky-Zhang/p/5934657.html...

2019-04-25 16:38:26 105

原创 基于golang的slice /tumbling window流处理器

针对数据量不大,但流处理业务逻辑繁多的场景,没有需要引入flink那种很重的分布式计算框架的需求而golang的协程模式,天然适合处理多流并发读的场景,因此,最近做了个小工具,基于超时队列技术实现流计算的 slice window、tumbling window本文主要分享特定场景的处理思路,有需要源码的可私聊~...

2019-04-24 16:09:14 127

原创 cb特性

最近需要用到cb,看到一篇对cb介绍比较详细的文章,在此分享。https://sq.163yun.com/blog/article/189804692240617472

2019-04-03 10:32:31 109

原创 Flink 中 timeWindow 滚动窗口边界和数据延迟问题解析

多流join操作需要用到window,window的重点是窗口数据丢失问题看了一些博客,讲的不怎么清晰,这篇讲的较为清晰,在此分享。https://blog.csdn.net/xsdxs/article/details/82415450...

2019-03-21 18:59:12 921

原创 [kubernetes]helm安装(tiller的坑)

https://blog.csdn.net/wzygis/article/details/84346573

2019-02-21 11:50:50 1425

原创 k8s单机版本安装

最近准备研究k8s现在网上很多教程都是乱写的,下面是两篇比较有意义的博文https://blog.csdn.net/liukuan73/article/details/83116271https://blog.csdn.net/u013355826/article/details/82801482 ...

2019-02-20 15:51:43 2598

转载 知乎request400

真的是细节很重要,就写错了一个字母纠结了半天https://coding.imooc.com/learn/questiondetail/68461.html

2019-02-19 18:49:32 118

原创 在Ubuntu上安装Chrome浏览器和ChromeDriver

https://www.cnblogs.com/chjbbs/p/9488092.html

2019-02-17 12:07:32 1016

转载 解决mysql数据库添加数据时报错:1366

中文数据提交到mysql数据时报了个错误:Warning Code : 1366 Incorrect string value: '\xE5\x9C\xA8' for column 'content' at row 1网上搜了好久才找到问题所在,这是由于建表的时候没有指定数据库字符集这里讲一下我的解决办法:ALTER TABLE todo CONVERT TO CHARACTER S...

2019-02-16 18:53:54 251

转载 ubuntu开机进入initramfs的解决办法

电脑在公司,晚上没关机,第二天启动ubuntu的时候就出现了这个情况,原因可能是由于晚上断电导致的,但是我晚上关掉虚拟机了,所以建议大家,晚上把电脑也关了。开机进入了initramfs界面,输入exit也没用。后来网上看了解决办法,有两种一、使用fsck -y  /dev/sdbn命令,如果这个有用的话,最后输入reboot重启虚拟机就可以了。二、使用fsck/dev/sda1命令(我...

2019-01-09 18:36:32 955

原创 分布式定时器

界面如图所示,思想是master连接web接入任务配置,worker监听分发scheduler协程,最终组织executor协程运行,log协程收集结果持久化到db,master取db展示。其中worker能够自动续租。客户端用vue+vuex做的,需要源码可以私聊。...

2019-01-05 16:56:40 175

转载 Vue2.0 传值方式

Vue2.0 传值方式:在Vue的框架开发的项目过程中,经常会用到组件来管理不同的功能,有一些公共的组件会被提取出来。这时必然会产生一些疑问和需求?比如一个组件调用另一个组件作为自己的子组件,那么我们如何进行给子组件进行传值呢?如果是电商网站系统的开发,还会涉及到购物车的选项,这时候就会涉及到非父子组件传值的情况。当然你也可以用Vuex状态管理工具来实现,这部分我们后续会单独介绍。我先给大家介...

2019-01-02 13:08:07 129

转载 ubuntu18 install onos problem:

ubuntu18 install onos problem:网上添加的bazel包源$ echo "deb [arch=amd64] http://storage.googleapis.com/bazel-apt stable jdk1.8" | sudo tee /etc/apt/sources.list.d/bazel.list会出现问题,连接不上网,报错如下    命中:1 ...

2019-01-02 13:03:18 271

转载 etcd的一个坑,/x/net/trace抛出panic 问题描述及解决方式

  做项目时使用了Grpc与登陆服务器进行通信,ETCD用来服务的发现。结果刚运行直接崩溃,百思不得其解。经过GOOGLE发现问题所在:https://stackoverflow.com/questions/47938005/panic-http-multiple-registrations-for-debug-requests I found the reason. It's becau...

2018-12-10 16:40:51 432

原创 gin源码跟踪

2018-12-06 13:59:16 317

转载 sparkstreaming处理kafka数据,数据积压问题解决方案

https://blog.csdn.net/ntk1986/article/details/80755888

2018-12-03 12:28:22 5415

原创 基于mybatis的轮子构造

后端多多少少会用到db,java中常用的db架构就是mybatis。先来看看mybatis=====================接口层mybatis的接口层核心类是sqlSessionFactory,SqlSession。其中SqlSession是所有数据库操作的API。Configuration是另一个配置相关的重要的类,Configuration与DefaultSqlSes...

2018-10-20 22:31:23 142

原创 mongodb梳理

 下面做mongodb特性等简单梳理: mongodb的界面管理工具nosql manager for mongodb mysql为例的关系型数据库、mongodb对应的非关系形数据库bson是二进制的json//查询某一集合下所有的数据db.students.find();//往某一个集合中添加数据db.users.insert({"uNa...

2018-10-12 20:36:56 143

转载 springcloud服务追踪Zipkin和spring cloud Sleuth

参考文章一:摘要: 本文简单介绍了如何利用Zipkin对SpringCloud应用进行服务分析。在实际的应用场景中,Zipkin可以结合压力测试工具一起使用,分析系统在大压力下的可用性和性能。设想这么一种情况,如果你的微服务数量逐渐增大,服务间的依赖关系越来越复杂,怎么分析它们之间的调用关系及相互的影响?服务追踪分析一个由微服务构成的应用系统通过服务来划分问题域,通过REST请求服务API来连接服...

2018-05-29 14:38:36 292

转载 Thrift基本流程

1. Thrift类介绍 Thrift代码包(位于thrift-0.6.1/lib/cpp/src)有以下几个目录:concurrency:并发和时钟管理方面的库processor:Processor相关类protocal:Protocal相关类transport:transport相关类server:server相关类 1.1 Transport类(how is transmitted?)负责数...

2018-05-20 18:45:27 320

原创 vue生命周期及实例的属性和方法

vue的生命周期vue实例从创建到销毁的过程,称为生命周期,共八个阶段window.onload=function(){ let vm = new Vue({ el:'#itany', data:{//存储数据 msg:'welcome to itany' }, methods:{ update(){ this.msg='欢迎来到北京!' ...

2018-05-01 22:17:17 538

原创 axios/vue-resource的http请求小结

vue本身不支持发送ajax请求,需要使用vue-resource,axios等插件实现axios是一个基于Promise的HTTP请求客户端,用来发送请求,也是vue2.0官方推荐的,同时不再对vue-resource进行更新和维护安装axios cnpm install axios -S基本用法axios([options])axios.get(url,[options]);传参方式:1.通过...

2018-05-01 13:44:24 294 1

原创 vue基本用法总结

vue.js是一个构建用户界面的框架是一个轻量级MVVM(Model-View-ViewModel)框架,和angular,react框架类似,其实就是所谓的数据双向绑定数据驱动+组件化的前端开发(核心思想)通过简单的api实现**响应式的数据绑定**和**组合的视图组件更容易上手,小巧。angular指令ng-xxx 开头所有属性和方法都存储在$scope中由google维护vue指令以v-xx...

2018-04-30 22:34:58 1580

原创 phxrpc源码解析

https://blog.csdn.net/shanshanpt/article/details/55213287

2018-04-13 12:28:23 286

转载 dpdk多队列机制

多队列网卡是一种技术,最初是用来解决网络IO QoS (quality of service)问题的,后来随着网络IO的带宽的不断提升,单核CPU不能完全处满足网卡的需求,通过多队列网卡驱动的支持,将各个队列通过中断绑定到不同的核上,以满足网卡的需求。常见的有Intel的82575、82576,Boardcom的57711等,下面以公司的服务器使用较多的Intel 82575网卡为例,分析一下多队...

2018-04-08 00:23:45 2204

转载 mongo_input_split_size的調整

想要从MongoDB往Hive导数据主要有两种方式1. Hive直接连接MongoDBHive连接MongoDB这篇讲了怎么连接。使用这种方式的好处在于,直接创建一个Hive的表,用于映射MongoDB里的数据。也就是数据仍然还在MongoDB内,创建映射表的时间非常短。但是坏处也同样在这,如果要把数据ETL到Hive表,这种方式必须执行map reduce,一直从MongoDB里面取数据,连接的...

2018-04-01 16:02:42 253

转载 mongodb架構

MongoDB是一个可移植的数据库,它在流行的每一个平台上都可以使用,即所谓的跨平台性,在不同的操作系统上虽然略有差别,但是从整体架构上来看,MongoDB在不同的平台上是一样的,如数据逻辑结构和数据存储等等。一个运行着的MongoDB数据库就可以看成是一个MongoDB Server,该Server由实例和数据库组成,在一般情况下,一个MongoDB Server...

2018-04-01 15:46:25 171

转载 nova架构及数据流转

前言       Openstack作为一个虚拟机管理平台,核心功能自然是虚拟机的生命周期的管理,而负责虚机管理的模块就是Nova。本文就是openstack中Nova模块的分析,所以本文重点是以下三点: 先了解Openstack的整体架构,搞清楚为什么要用这样的架构;然后再了解架构中的各个组件,组件提供的主要功能与各个组件之间的交互;了解虚机的启动

2018-01-24 22:28:47 536

转载 nginx+fastcgi

FastCGI是一个可伸缩地、高速地在HTTP server和动态脚本语言间通信的接口。多数流行的HTTP server都支持FastCGI,包括Apache、Nginx和lighttpd等。同时,FastCGI也被许多脚本语言支持,其中就有PHP。FastCGI是从CGI发展改进而来的。传统CGI接口方式的主要缺点是性能很差,因为每次HTTP服务器遇到动态程序时都需要重新启动脚本解析器来执行解析

2018-01-19 12:03:36 261

转载 Patch构建OVS网桥和OVS网桥相连的网络

将多个主机(物理机或虚拟机)连接到同一个网桥上,实现它们之间的通信,但是要构建复杂的网络,就需要多个网桥,在装有open vswitch的主机上建立两个网桥,实现它们之间的连接,构建结果如下:1. 新建网桥brovs-vsctl add-br br0 //添加一个名为br0的网桥ovs-vsctl add-br br1 //添加一个名为br0的网桥122. 新建虚拟端

2018-01-17 11:20:56 506

转载 叠加网络

什么是叠加网络1.一个数据包(或帧)封装在另一个数据包内;被封装的包转发到隧道端点后再被拆装。2.叠加网络就是使用这种所谓“包内之包”的技术安全地将一个网络隐藏在另一个 网络中,然后将网络区段进行迁移。一、VLAN介绍VLAN,是英文Virtual Local Area Network的缩写,中文名为"虚拟局域网", VLAN是 一种将局域网(LAN)设备从

2018-01-14 20:18:30 2643

转载 浮动ip

主要谈一谈关于浮动IP的东西,介绍下浮动IP是什么1、为什么要有浮动IP这个东西       现在有一个场景,在一台Linux上部署一个web应用,应用跑在tomcat里面,linux网卡上的ip是115.239.100.120大致就是如下的部署关系:      用户通过输入IP地址就能访问这个应用了,但是天有不测风云,有时候因为一些原因,服务会挂掉。于是开发人员就想了

2018-01-14 19:53:42 1875

转载 配vnc

VNC简介VNC (Virtual Network Console)是虚拟网络控制台的缩写。它是一款优秀的远程控制工具软件。VNC可以运行在基于 UNIX 和 Linux 操作系统,并且是免费的开源软件,具有很强的远程控制能力。VNC由两部分组成:客户端的应用程序(vncviewer)和服务器端的应用程序(vncserver)。 VNC的基本运行原理类似于Windows下的远程控制软件

2018-01-10 10:20:54 163

转载 maven搭建web项目中org.apache.ibatis.binding.BindingException:Invalid bound statement ( not found)

最近使用Maven配合SSM(Spring+SpringMVC+Mybatis)搭建一个Web项目,在测试三个框架是否整合成功的时候,每次发出请求调用MyBatis时都会出现下面这个错误从异常信息的提示来看是一个无效的语句绑定错误,一般出现该错误是由于MyBatis的Mapper映射的xml文件丢失或者没配置好,于是检测自己的映射文件发现自己的配

2018-01-07 00:54:41 191

转载 nat原理

1 概述1.1 简介1.1.1 名词解释公有IP地址:也叫全局地址,是指合法的IP地址,它是由NIC(网络信息中心)或者ISP(网络服务提供商)分配的地址,对外代表一个或多个内部局部地址,是全球统一的可寻 址的地址。私有IP地址:也叫内部地址,属于非注册地址,专门为组织机构内部使用。因特网分配编号委员会(IANA)保留了3块IP地址做为私有IP地址:10.0.0.0 ——— 1

2017-12-31 15:39:51 222

提示
确定要删除当前文章?
取消 删除