自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

汤庆

如果你不能简单说清楚，就是你没完全明白。

我也要用
排序：
默认
按更新时间
按访问量
RSS订阅

原创 【微服务】——Minikube安装使用Kubernetes

一、前言 　　Kubernetes将底层的计算资源连接在一起对外体现为一个高可用的计算机集群。Kubernetes将资源高度抽象化，允许将容器化的应用程序部署到集群中。为了使用这种新的部署模型，需要将应用程序和使用环境一起打包成容器。与过去的部署模型相比，容器化的应用程序更加灵活和可用，在新的部...

2019-08-28 17:17:35

阅读数 249

评论数 0

原创 【时间序列】时间序列曲线平滑+预测（LSTM）

一、数据 样例： [7.847052, 7.847052, 7.861221, 7.861221, 7.879992, 7.879992, 7.876299, 7.876299, 7.878486, 7.878486, 7.900652, 7.900652, 7.903645, 7.90...

2019-07-30 11:48:41

阅读数 456

评论数 0

原创 【大数据】——Redis总结

一、Redis简介 Redis是一种键值系统，可以用来缓存或存储数据。Redis是“Remote Dictionary Server”（远程字典服务）的缩写，提供了字符串（string），列表（list），哈希（hash），集合（set）和有序集合（sorted set）等5种数据结构，这...

2019-07-11 09:45:00

阅读数 107

评论数 0

原创 【大数据】——Hbase中的LSM树

一、前言 哈希存储引擎 是哈希表的持久化实现，支持增、删、改以及随机读取操作，但不支持顺序扫描，对应的存储系统为key-value存储系统。对于key-value的插入以及查询，哈希表的复杂度都是O(1)，明显比树的操作O(n)快,如果不需要有序的遍历数据，哈希表就是your Mr.Right ...

2019-07-07 10:35:45

阅读数 377

评论数 0

原创 【大数据】——redis统计信息info

一、前言 Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 Redis不仅仅支持简单的key-value类型的数据，同时还提供String，list，set，zset，hash等数据结构的存储。 Redis支持数据的备份，即master-slave...

2019-06-06 23:59:58

阅读数 219

评论数 0

原创 【大数据】——Hbase总结

一、前言 HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS...

2019-05-31 01:30:00

阅读数 228

评论数 0

翻译 【机器学习化DBMS】——A Demonstration of the OtterTune

【原文信息】 B. Zhang, D. V. Aken, J. Wang, T. Dai, S. Jiang, J. Lao, S. Sheng, A. Pavlo, and G. J. Gordon, "A Demonstration of the OtterTune Automat...

2019-04-29 09:40:32

阅读数 217

评论数 0

原创 【数学之美】——回归分析总结

一、前言 1、“回归”的由来 回归，最初是遗传学中的一个名词，是由生物学家兼统计学家高尔顿首先提出来的。他在研究人类的身高时，发现高个子回归于人口的平均身高，而矮个子则从另一个方向回归于人口的平均身高。 参考文章：https://blog.csdn.net/denghecs...

2019-04-21 18:54:27

阅读数 172

评论数 0

原创 【数据库】——分库分表

一、前言 Sharding的基本思想就要把一个数据库切分成多个部分放到不同的数据库(server)上，从而缓解单一数据库的性能问题。不太严格的讲，对于海量数据的数据库，如果是因为表多而数据多，这时候适合使用垂直切分，即把关系紧密（比如同一模块）的表切分出来放在一个server上。如果表并不多...

2019-04-07 17:42:02

阅读数 119

评论数 0

原创 【数据库】——mysql参数调优

【前言】 mysql调优视频学习：https://www.bilibili.com/video/av49548134/?p=1 一、mysql调优 数据库优化一方面是找出系统的瓶颈,提高MySQL数据库的整体性能,而另一方面需要合理的结构设计和参数调整,以提高用户的相应速度,同时还...

2019-03-29 00:17:09

阅读数 128

评论数 0

原创 【人工智能】——AI相关知识点梳理

目录 一、人工智能学习思维导图 二、算法小结 三、机器学习知识脉络 四、人工智能论文合集 五、相关主页网址 六、应用领域 一、人工智能学习思维导图 Tips:神经网络和深度学习是什么关系？ 1、从广义上说深度学习的网络结构也是多层神经网络的一种。 传统意义上的多层神经...

2019-03-24 11:12:08

阅读数 912

评论数 0

原创 【知识图谱】——8种Trans模型

知识图谱对实体和它们丰富的关系的结构化信息编码。虽然一个典型的知识图谱可能得到数百万的实体和数以亿计的关系事实，但离补全还很远。知识图谱补全旨在通过现有知识图谱来预测实体之间的关系。知识图谱补全能够找到新的关系事实，这是对从纯文本进行关系抽取的重要补充。知识图谱扫盲：https://www.jiq...

2019-03-23 23:56:13

阅读数 3164

评论数 0

原创 【机器学习化DBMS】——ottertune系统原理

一、前言 数据库管理系统（DBMS）是任何数据密集应用的关键部分。它们可以处理大量数据和复杂的工作负载，但同时也难以管理，因为有成百上千个“旋钮”（即配置变量）控制着各种要素，比如要使用多少内存做缓存和写入磁盘的频率。组织机构经常要雇佣专家来做调优，而专家对很多组织来说太过昂贵了。 ...

2019-03-10 16:55:28

阅读数 361

评论数 1

原创 【机器学习化DBMS】——ottertune客户端部署安装

一、准备工作 1、操作系统：Ubuntu Linux 16.04+ (64-bit) 二、客户端运行原理 客户端由一个驱动程序和一个控制器组成。驱动程序控制客户端的所有控制流，控制器收集DBMS旋钮和度量数据。 1、步骤一：驱动程序首先清除缓存并重新启动数据库。它还检...

2019-03-07 14:47:18

阅读数 221

评论数 0

原创 【机器学习化DBMS】——ottertune生成数据解析

一、前期准备 写这篇博文的目的是展示ottertune自带的测试数据，以便了解数据构成。前期需要准备的条件：部署好环境，启动服务。具体步骤参见我的另一篇文章：https://blog.csdn.net/weixin_40449300/article/details/87904128 ...

2019-03-07 10:23:53

阅读数 100

评论数 0

原创 【机器学习化DBMS】——ottertune源码

一、前言 数据库管理系统（DBMS）是任何数据密集型应用程序中最重要的组件。它可以处理大量的数据和复杂的负载工作。但是却难以管理，因为它们具有数百个配置选项，用于控制诸如用于缓存的内存量以及将数据写入存储器等因素。企业经常聘请这方便的专家来协助管理，但是专家对许多企业来说成本太高。 O...

2019-02-27 08:44:41

阅读数 177

评论数 0

原创 【机器学习化DBMS】——ottertune服务端部署安装

一、准备工作 1、操作系统：Ubuntu Linux 16.04+ (64-bit) 2、配置好网络，以下安装均需联网安装 3、python 3.5 + 二、安装步骤 otertune由两个组件组成：客户端和服务器端。Ottertune的服务器从客户机接收调优任务，并使用...

2019-02-24 16:35:22

阅读数 548

评论数 0

原创 【java项目】——ubuntu14.04系统部署java web项目

一、前言 在windows环境下开发了weibo系统，最近想要给他部署到linux上，先用虚拟机试试手。(租用阿里云服务器配置也差不多) 二、前期准备 1、ubuntu 14.04虚拟机，设置好网络； 2、配置虚拟机的xftp和ssh等基本功能； 三、安装配置java环境 ...

2019-01-24 17:22:16

阅读数 657

评论数 2

原创 【Java项目】——Java Web完整项目（微博系统）

一、系统概述 该系统基于B/S结构，即采用浏览器/服务器模式，服务器端由运行ASP.Net的Web应用程序及运行mysql的数据库服务器组成，客户端可以Internet Explorer，FireFox访问系统。基本功能包括：账号登录、关注好友、微博动态发布、微博搜索、好友搜索等功能。 ...

2019-01-04 00:24:54

阅读数 3176

评论数 0

原创 【大数据】——Ubuntu14.04 安装hadoop/spark/scala教程

需要的软件: 大体步骤（注意本文所有软件均安装在home/hadoop 文件夹下，下文不在提示） 安装ubuntu操作系统 安装JDK，配置环境变量 安装scala，配置环境变量 备份系统，需要几个节点，就克隆几份 对管理节点设置IP，登录名和hosts文件，对每个工作节点设置...

2018-08-29 17:23:13

阅读数 353

评论数 0

原创 【kubernets】——特定namespace 中部署 Tiller

一、前言 一般情况下Tiller 管理访问整个集群。当然，Tiller 正常工作并不一定要为它设置集群管理员访问权限。我们可以指定 Role 和 RoleBinding 来将 Tiller 的范围限制为特定的 namespace，而不是指定 ClusterRole 或 ClusterRol...

2020-03-18 21:53:06

阅读数 13

评论数 0

原创 【Kubernetes】——开启Aggregator Apiserver

一、前言 今天搭建了三节点k8s集群做测试用，具体流程可以参见我的博客：搭建k8s多节点集群。因为用到了扩展api，所以需要开启AA模式（API Aggregation）。API Aggregation 允许在不修改 Kubernetes 核心代码的同时扩展 Kubernetes API，...

2020-03-11 17:20:16

阅读数 67

评论数 0

原创 【Kubernets】——搭建k8s多节点集群

一、集群环境 主机名 IP 角色 OS 组件 配置 node1 10.53.5.94 master Ubuntu 16.04.1 kube-apiserver kube-controller-manager kube-sche...

2020-03-10 18:26:01

阅读数 73

评论数 0

原创 【Elasticsearch】——curl操作elasticsearch

一、_cluster系列 1、查询设置集群状态 curl -XGET localhost:9200/_cluster/health?pretty=true pretty=true表示格式化输出 level=indices 表示显示索引状态 level=shards 表示显示分片信息2、显示...

2020-02-26 11:38:11

阅读数 23

评论数 0

原创 【k8s】——Kubernetes知识盘点

1.前言 2.架构图 5.Service介绍 5.1.1.1.什么是Service 　　service是k8s中的一个重要概念，主要是提供负载均衡和服务自动发现。 　　Service 是由 kube-proxy 组件，加上 iptables 来共同实现的。 ...

2020-02-15 15:57:45

阅读数 129

评论数 0

原创 【k8s】——yaml文件写法汇总

一、前言 k8s可以说是面向yaml文件编程，官方文档有很详细的说明各类yaml文件的写法。 二、yaml文件语法 参考博客：https://www.cnblogs.com/wn1m/p/11286109.html。在Kubernetes中，只需要知道list和map就行。Li...

2020-01-23 01:00:44

阅读数 68

评论数 0

原创 【Elasticsearch】——Index Templates(索引模板)

一、前言 索引模板，简而言之，是一种复用机制。当新建一个 Elasticsearch 索引时，自动匹配模板，完成索引的基础部分搭建。注意：模板只在创建索引时应用。更改模板不会对现有索引产生影响。主要为如下几个部分： { "order": 0, ...

2020-01-17 16:40:32

阅读数 61

评论数 0

原创 【Elasticsearch】——日志搜索引擎ES介绍及使用

一、前言 最近在做elasticsearch的工作，把搭建过程记录一下。 测试环境：ubuntu 16.04 二、安装ES 安装详解：官方文档 1、本地单节点安装 #1、获取安装包并解压 $ curl -L -O https://artifacts.elastic.co/do...

2020-01-14 14:54:44

阅读数 115

评论数 0

翻译 【k8s】——apiVersion对照表

一、前言 k8s更新迭代比较快，apiVersion也在不断变化中，每个版本的对应的apiVersion略有不同，推荐大家去看官方文档：https://kubernetes.io/docs/reference/。 二、对照表 Kind apiVersion Certifica...

2020-01-04 15:10:52

阅读数 373

评论数 0

原创 【计算机原理】——CPU

一、概念 物理CPU 实际Server中插槽上的CPU个数 物理cpu数量，可以数不重复的 physical id 有几个 逻辑CPU Linux用户对 /proc/cpuinfo 这个文件肯定不陌生. 它是用来存储cpu硬件信息的 信息...

2019-12-26 17:25:25

阅读数 39

评论数 0

原创 【计算机原理】——top命令中的虚拟内存和驻留内存区别

一、前言 最近做数据库插入性能的测试，对于top命令监控有一些疑问，查了资料后记录一下。要理解top命令关于内存使用情况的输出，我们必须首先搞清楚虚拟内存（Virtual Memory）和驻留内存（Resident Memory）两个概念。 二、虚拟内存 首先需要强调的是虚拟内存...

2019-12-26 14:33:47

阅读数 118

评论数 0

原创 【go语言】——静态编译go程序

一、前言 go语言编译的程序要放入docker容器中可能存在依赖的问题，为了解决这个问题，就需要在编译的时候完全静态编译。 二、方法 CGO_ENABLED=0 GOOS=linux go build -a -ldflags '-extldflags "-stat...

2019-11-16 23:48:41

阅读数 60

评论数 0

原创 【minikube】——dashboard无法打开google chrome浏览器问题

一、前言 minikube的安装和介绍详见我的另一篇博客：https://blog.csdn.net/weixin_40449300/article/details/100110560 二、问题 运行：sudo minikube dashboard打开谷歌浏览器失败，报错如下： ...

2019-10-03 02:52:45

阅读数 251

评论数 0

原创 【分布式数据库】——rqlite

一、前言 rqlite : 基于 SQLite 构建的轻量级、分布式关系数据库， 使用Go 编程实现，使用 Raft 算法来确保所有 SQLite 数据库实例的一致性。 下载地址和方式：Download 二、下载启动使用（伪分布式） 1、主节点启动 #下载 curl -L http...

2019-09-15 21:54:47

阅读数 349

评论数 0

原创 【大数据】——TDengine原理及使用

一、前言 应用背景：随着移动互联网的普及，数据通讯成本的急剧下降，以及各种低成本的传感技术和智 能设备的出现，除传统的手机、计算机在实时采集数据之外，从手环、共享自行车、 出租车、智能电表、环境监测设备到电梯、大型设备、工业生产线等都在源源不断的 产生海量的实时数据发往云端。这些海量数据是...

2019-09-02 18:51:41

阅读数 1971

评论数 1

原创 【微服务】——Kubernetes架构及原理

一、前言 Kubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制。 Kubernetes一个核心的特点就是能够自主的管理容...

2019-09-02 13:50:57

阅读数 188

评论数 0

原创 【微服务】——docker hub推送镜像

一、前言 　　DockerHub 是一个由 Docker 公司运行和管理的基于云的存储库。它是一个在线存储库，Docker 镜像可以由其他用户发布和使用。有两种库：公共存储库和私有存储库。 docker images　＃查看本机docker镜像列表 docker run -it <im...

2019-09-01 17:16:29

阅读数 78

评论数 0

原创 【微服务】——k8s Service Catalog

一、前言 Service Catalog是kubernetes的一种API扩展，方便kubernetes集群内部应用访问集群外部、由第三方管理、提供的服务，如由云供应商提供的数据库服务。Service Catalog通过Service Brokers使集群内应用能够列出外部服务、提供实例、将...

2019-08-29 14:11:58

阅读数 81

评论数 0

原创 【go语言】——go环境安装和项目部署(ubuntu系统)

一、前言 很多人将GO语言称为21世纪的C语言，因为GO不仅拥有C的简洁和性能，而且还很好的提供了21世纪互联网环境下服务端开发的各种实用特性，让开发者在语言级别就可以方便的得到自己想要的东西。语言层出不穷，出于对go语言的好奇，打算学习一下go语言。这篇博文主要是记录一些go语言的知识点，...

2019-08-19 01:20:37

阅读数 185

评论数 0

原创 【大数据】——HDFS文件块大小设置原则

一、前言 HDFS 中的文件在物理上是分块存储（ block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在 hadoop2.x 版本中是 128M，老版本中是 64M。为什么要设置128M/64M？ 二、块大小设置原则 1、最小化寻址开销（减少磁盘寻...

2019-08-08 10:12:25

阅读数 156

评论数 0

提示
确定要删除当前文章？
取消 删除