全栈工程师开发手册(原创)

全栈工程师,前端工程师,后端工程师,架构师,爬虫工程师,数据分析师,大数据工程师,数据挖掘工程师,机器学习工程师,栾鹏全栈...

微服务架构系列文章、精品教程

架构系列文章大全

2018-11-07 20:13:19

阅读数 1595

评论数 0

flink在k8s上的部署和使用教程

官网:https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/kubernetes.html

2019-04-02 19:02:21

阅读数 58

评论数 0

shell bash常用工具教程(curl,jq)

安装 apt install jq jq命令格式 jq [options] filter [files] **options:** --version:输出jq的版本信息并退出 --slurp/-s:读入整个输入流到一个数组。 --raw-input/-R:不作为JSON解析,将每一行的文本作为...

2019-03-28 12:25:53

阅读数 58

评论数 0

Kubernetes RBAC 详解

原文链接:Kubernetes RBAC 详解 前面两节课我们学习了Kubernetes中的两个用于配置信息的重要资源对象:ConfigMap和Secret,其实到这里我们基本上学习的内容已经覆盖到Kubernetes中一些重要的资源对象了,来部署一个应用程序是完全没有问题的了。在我们演示一个完整...

2019-03-24 17:06:39

阅读数 72

评论数 0

aiohttp进阶教程

在python后台——asyncio,aiohttp入门教程,多进程+asyncio文章中,我们介绍了asyncio,aiohttp的入门知识,现在我们这里详细介绍一下aiohttp 参考文档:https://www.bookstack.cn/read/aiohttp-chinese-docume...

2019-03-24 17:04:35

阅读数 85

评论数 0

python分布式多进程框架 Ray

并行和分布式计算是现代应用程序的主要内容。我们需要利用多个核心或多台机器来加速应用程序或大规模运行它们。网络爬虫和搜索所使用的基础设施并不是在某人笔记本电脑上运行的单线程程序,而是相互通信和交互的服务的集合。 ray的api接口教程:https://ray.readthedocs.io/en/la...

2019-03-13 19:49:27

阅读数 168

评论数 0

Hbase GC调优原理分析

实践中,HBase使用的内存不断增长,但JDK可用的垃圾收集算法仍然相同。这导致了HBase的许多用户的一个主要问题:随着Java使用堆大小继续增长,垃圾回收导致的“stop-the-world”时间变得越来越长。这在实践中意味着什么? 在垃圾回收导致的“stop-the-world”期间,任何...

2019-03-10 17:32:16

阅读数 58

评论数 0

solrcloud 7.5在k8s上的部署安装和使用教程

solr的docker hub 官网:https://hub.docker.com/_/solr/ Solr将其核心数据存储在server/solr目录的每个核心的子目录中。该server/solr目录还包含属于Solr分发的配置文件。所以如果想在k8s中持久化,需要添加挂载。 Solr支持SOL...

2019-03-10 17:31:14

阅读数 92

评论数 0

grafana设置mysql为数据源,并进行可视化

全栈工程师开发手册 (作者:栾鹏) 架构系列文章 官网:http://docs.grafana.org/features/datasources/mysql/ 先封装一下最新的grafana,docker hub地址 SELECT from_unixtime(create_time) as...

2019-03-10 17:29:49

阅读数 193

评论数 0

全面认识openstack:OpenStack架构详解

OpenStack既是一个社区,也是一个项目和一个开源软件,提供开放源码软件,建立公共和私有云,它提供了一个部署云的操作平台或工具集,其宗旨在于:帮助组织运行为虚拟计算或存储服务的云,为公有云、私有云,也为大云、小云提供可扩展的、灵活的云计算。 OpenStackd开源项目由社区维护,包括Open...

2019-03-06 16:27:41

阅读数 56

评论数 0

Kubernetes vs OpenStack

前言 最近2年相信大家都听过kubernetes这种新容器编排工具,越来越多的公司也去学习相关技术,并运用它去解决公司的问题,它在开源社区也是非常火,大小不断的k8smeeting以及容器相关的会议。这火爆程度和在2011年到2016年之间非常火的Openstack非常相似,不论是社区还是公司都是...

2019-03-06 16:25:14

阅读数 41

评论数 0

zookeeper教程

zookeeper命令 ZooKeeper客户端有C语言和Java两个版本。 ZooKeeper的命令在/usr/lib/zookeeper/bin文件夹下。 运行Java版本的客户端使用bash zkCli.sh -server IP:port ,运行C语言版本的使用./cli_mt IP:po...

2019-03-06 09:37:45

阅读数 55

评论数 0

使用GlusterFS作为Kubernetes的后端存储

用GlusterFS作为Kubernetes的存储 这里简单的介绍一下使用基于容器化的GlusterFS + heketi作kubernetes的后端存储的部署方式;对于GlusterFS的介绍这里就不多说了;部署过程主要参考:gluster-kubernetes 1、环境 [roo...

2019-02-17 14:23:20

阅读数 303

评论数 0

tornado使用mysql 连接池(torndb)

安装torndb包 pip install torndb python3.6修改 修改C:\Program Files\Python36\lib\site-packages\torndb.py或者/usr/local/lib/python3.6/dist-packages/torndb.py #...

2019-02-17 14:21:15

阅读数 211

评论数 0

Windows10+Ubuntu16.04(ubuntu18.04)双系统安装

前言: 装双系统的三种方案 1、VirtualBox或者VMware虚拟机安装,主系统与虚拟机系统切换方便,但对于我这样的渣渣配置,能卡到我哭,可能有一些优化措施,不过我没有试过,我用虚拟机大多是安装一些一次性软件,用后即卸,不用担心卸载后在主机上有垃圾信息,还有就是想尝试一些新系统,虽...

2019-02-17 14:20:21

阅读数 4838

评论数 1

自动化运维工具(ansible入门教程)

Ansible是一个配置管理和配置工具,类似于Chef,Puppet或Salt。这是一款很简单也很容易入门的部署工具,它使用SSH连接到服务器并运行配置好的任务,服务器上不用安装任何多余的软件,只需要开启ssh,所有工作都交给client端的ansible负责。 关于Ansible的一个好处是,...

2019-02-11 10:26:49

阅读数 125

评论数 0

postgres数据库入门, python 操作postgres

安装需要的包 pip install psycopg2 主要的api接口 1 psycopg2.connect(database="testdb", user=&amp...

2019-02-11 10:24:40

阅读数 94

评论数 0

RabbitMQ用户角色及权限控制

RabbitMQ的用户角色分类: none、management、policymaker、monitoring、administrator user 有5种 tags : management :访问 management plugin; policymaker :访问 managemen...

2019-02-01 21:53:44

阅读数 1040

评论数 0

hadoop相关问题

spark运行时出现Neither spark.yarn.jars nor spark.yarn.archive is set错误的解决办法(图文详解) 在hdfs上创建目录: hdfs dfs -mkdir /lp/hadoop/spark_jars 上传...

2019-01-17 19:54:48

阅读数 1034

评论数 0

k8s中实现自动数据库初始化(mysql,postgresql)

我们知道在代码里面创建数据库链接需要先有database, 但是我们刚刚部署的数据库可能还没有database或者没有指定权限的用户,这就要求我们在部署完数据库以后手动链接,创建数据库和用户. 有两种方式来实现自动化, 这里以mysql为例 通过环境变量实现 在k8s中部署mysql时,可...

2019-01-17 11:11:55

阅读数 1291

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭