- 博客(18)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 k8s搭建
1、资源准备master 192.168.187.164work 192.168.187.1651.1允许使用root登陆修改vim /etc/ssh/sshd_config文件将PermitRootLogin改为yes# PermitRootLogin prohibit-passwordPermitRootLogin yes然后重启ssh即可root@...
2019-06-09 20:46:04
340
原创 docker（四）
docker网络配置 随着技术的进步，网络是沟通各个组件基础手段，中间件本质上是网络的高级封装。所以容器启动起来需要和外面进行交互必须开放相应的端口。 上图中是一个基础服务单元，包含一个web服务器和一个数据库，其中web服务器需要开放80端口，DB可以开放3306端口。由于我们使用docker容器，容器和宿主机的网络也是隔离的，我们在容器内部开放一个80端口，在宿主机上是...
2019-05-11 12:43:49
232
原创 docker（三）
这一节介绍docker的数据卷，我们首先聊一下虚拟化，然后操作一下docker数据卷。1、虚拟化 虚拟化是云计算的基础，我们接触最多的虚拟化产品openstack、vmware、docker、yarn、mesos等这些都是虚拟化相关的产品。其中如果按照功能分类，又可以分为cpu虚拟化、内存虚拟化、IO虚拟化、网络虚拟化等。但是大家是否注意到没有硬盘虚拟化。因为什么呢？这是因为open...
2019-05-10 22:57:16
197
原创 docker（二）
上一篇是介绍了docker概述以及docker中核心基本概念：镜像、仓库、容器，并在linux上安装了docker，设置了阿里云加速，并且下载了几个镜像。这一篇我们介绍docker镜像、仓库、容器管理。一、镜像1.1 查看本地仓库中所有镜像root@ubuntu16server:/home/yufeiliu# docker imagesREPOSITORY TAG...
2019-05-10 20:38:47
767
原创 docker（一）
一、引入docker docker发展到现在已经非常普及了，首先我们需要了解为什么docker发展如此之快。docker的发展是由于云计算的发展，并且伴随着SRE推动devops这两方面的原因。 docker在概念上非常的干净，如下图。蓝色的鲸鱼是一台服务器，上面的集装箱就是docker容器。 为了刚好的理解docker，我们和虚拟机、git比较一下： ...
2019-05-10 10:08:28
705
1
原创 netty+证书认证
netty客户端：package com.lyf.csdn.netty;import io.netty.bootstrap.Bootstrap;import io.netty.channel.*;import io.netty.channel.nio.NioEventLoopGroup;import io.netty.channel.socket.SocketChannel;im...
2019-02-14 16:43:47
4007
1
原创 A*算法
1、概论游戏地图中的路径搜索是人工智能领域中理论在游戏中的一个实际应用，游戏地图的寻路是虚拟角色硬要具备的最基本的能力之一。从虚拟角色的行走可以看出该款游戏的品质，因此寻路成为游戏开发中的重要内容之一。再加上现在的游戏玩家对游戏品质要求越来越高，要求游戏更加真实和逼真，这样对寻路算法就提出了更高的要求。寻路就是角色花费最短的时间以一条最佳的方式走到指定的地点。然而，在游戏地图中寻找路径问题并不...
2018-11-12 23:01:26
430
原创 keepalived
keepalived是高可用的基础，是解决单点问题的核心手段。这张图是使用keepalived去掉nginx单点瓶颈的拓扑图。keepalived具备在机器网卡上动态绑定一个VIP的能力，上图中director1和director2这两台机器主备，在这两台机器上绑定VIP是192.168.8.30。当请求经过网关转发给192.168.8.30，其实只会发给director1，此时direc...
2018-11-03 23:57:46
1021
原创 kudu操作
一、介绍kudu kudu的定位是实时数据仓库，kudu功能上有交集的有两个数据库：ODPS、hbase。 ODPS定位是数据仓库，kudu作为实时数据仓库后起之秀，因为结合spark等大数据处理工具比起ODPS优势明显： 1. 操作灵活，我们可以使用spark + kudu快速进行数据统计分析，比起ODPS灵活很多。 2. ...
2018-11-02 13:58:19
2589
原创 supervisor管理进程
一、概述 supervisor是一个进程管理工具，在ubuntu中也有一些其他的进程管理工具，比如systemctl。但是作为日常开发部署服务器，supervisor还是一个非常好用的工具。它可以： 1. 开机自启动 2. 进程异常中断自动检测重启进程 3. WEB页面管理进程，并提供restful接口管理进程二、安装...
2018-10-31 19:38:36
298
原创 spark自定义RDD
一、为什么需要自定义RDD 1. spark提供了很多方法读数据源，比如我们当前可以从hdfs文件、jdbc、mongo、hbase等等将数据包装成RDD供我们后续进行处理。如果我们想要读memcache中的数据恐怕就没有现成的了，需要我们自己实现自己的RDD。 2. RDD是一种弹性分布式数据集，本质就是对数据的封装与抽象。讲道理我们可以将任何我们想要的数据按照我...
2018-10-28 12:23:34
3335
原创 spark
一、为什么需要使用spark？ spark已经成为数据处理和算法建模的行业标准，主要原因在于spark可以很好的和java相结合，这样优势在于行业内存在大量java工程师，他们可以迅速的转为数据分析工程师和算法工程师。 spark中对数据的抽象是RDD，即弹性分布式数据集，文本文件、关系型数据库、非关系型数据库都可以被抽象成RDD。我们需要分析的数据确实来自各种格式的文件以及数据库，这...
2018-06-15 13:54:50
776
原创 Ubuntu虚拟机部署配置
点击重启就算是安装完成了，启动虚拟机很快，目前三分钟可以拉一个虚拟机出来。说明：执行下面的命令然后按照提示重新执行apt update就可以了。目前最新的版本是23.04，保险起见我们使用22.10版本使用。可以查询到虚拟机IP地址：192.168.0.104。重启系统出测试效果状态也是yes，那说明没问题了。
2023-07-23 00:38:55
612
原创 借助阿里云Java Initializr初始化一个项目
说明： 偶尔在家向写点代码，一般来说需要创建一个WEB项目，这里各种依赖虽然spring boot已经完成了大部分的封装，还是需要选择一些版本。最近在阿里云看到JavaInitializr功能，可以勾选一些选项就可以初始化一份基本的demo出来，ran删删改改就可以了。作为平时写着玩的项目比较合适。这里记录一下。使用：官网：https://developer.aliyun.com/special/mirrors/notice?spm=5176.22414175.sslink.1.2a...
2021-05-16 11:57:41
817
原创 一种执行批量任务并发控制的方法
一、场景说明 我们总是会有执行批量任务的场景，这种场景其实可以分为若干场景，我们仔细分析一下： 1. 实时任务：任务不知道什么时候会到，有可能一分钟来一条，也有可能一秒钟来200条，无法预知任务什么时候会到，只能来到任务之后丢到线程池计算 2. 可预知任务：能够准确知道任务到达，并能够分解出确切的子任务，这种任务同时只会做一次，本文主要是针对这种情况并发执行给出一种更...
2019-09-05 21:23:14
1298
原创 k8s搭建（失败）
本文搭建k8s集群，结果失败了。首先搭建了etcd、docker、flannelzhe三个是没有问题的，之后的ks8配置由于版本不对搭建失败，但是仍然有意义，特此记录。1、资源准备node1 192.168.187.159node2 192.168.187.161node3 192.168.187.162准备三台虚拟机，按照上面进行划分，node1作为maste...
2019-06-09 20:37:00
1750
原创 更新ubuntu中apt
ubuntu默认apt源是国外的，每一次更新下载速度慢并且失败率很高，所以解决办法vpn或者修改为国内的镜像源。1、备份apt源cp /etc/apt/sources.list /etc/apt/sources.list.backup2、删掉/etc/apt/sources.list文件并且加上下面的源（选一个就好）：阿里源：deb-src http://archive....
2019-05-12 10:51:04
7185
1
使用slf4j+log4j2记录日志，不想打印异常栈
2021-07-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人