全栈工程师开发手册(原创)

全栈工程师,前端工程师,后端工程师,架构师,爬虫工程师,数据分析师,大数据工程师,数据挖掘工程师,机器学习工程师,栾鹏全栈...

kubernetes中port、target port、node port的对比分析,以及kube-proxy代理

在学习前要知道一个服务下可能有多个pod,每个pod可能在不同的主机上。一个主机可能有多个服务。而每个container又几乎模拟的是一个主机。所以不是只有主机才有ip和端口号。 容器网络实例 服务中的3个端口设置 这几个port的概念很容易混淆,比如创建如下service: ...

2018-08-15 09:55:07

阅读数:85

评论数:0

通过helm在k8s上部署spark

首先要求你的k8s支持helm。阿里云自带的k8s已经包含了对helm的支持。关于服务器k8s的部分这里不讨论,我们考论如何用一个已经好的k8s来进行部署spark。 安装配置 kubectl 和 Helm CLI 在本地计算机上安装和配置 kubectl。 参见https://blog.c...

2018-08-11 16:28:24

阅读数:1548

评论数:0

python后台——asyncio,aiohttp教程

今天我们来学习下异步io的服务器处理。

2018-08-07 21:02:26

阅读数:1431

评论数:0

git原理和常用操作

对于gitlab来说,注册需要翻墙,而登录不需要。 git安装配置 可以参考,在这篇文章中写过 https://blog.csdn.net/luanpeng825485697/article/details/80875860 文章中包含了本机安装git,和ssh key的配置 g...

2018-08-03 22:43:56

阅读数:1429

评论数:0

开发环境ubuntu16安装以后的初始化设置

安装系统以后要先更新一遍软件 搜索软件更新器,现更新一遍软件 输入法:搜狗 下载搜狗 https://jingyan.baidu.com/article/ad310e80ae6d971849f49ed3.html 双击下载的deb文件安装,在软件中心安装软件. im-config修...

2018-08-03 22:40:31

阅读数:1636

评论数:0

将应用制作成镜像发布到服务器k8s上作为容器微服务运行。

首先我们需要在本地docker中调试运行一遍,再发布到k8s上去 将应用制作成镜像 将应用制作成docker镜像,需要我们编写dockerfile文件. 可以参考https://blog.csdn.net/luanpeng825485697/article/details/80921390 ...

2018-08-03 22:38:09

阅读数:1441

评论数:0

Kubernetes部分Volume类型介绍及yaml示例

1、EmptyDir(本地数据卷) EmptyDir类型的volume创建于pod被调度到某个宿主机上的时候,而同一个pod内的容器都能读写EmptyDir中的同一个文件。一旦这个pod离开了这个宿主机,EmptyDirr中的数据就会被永久删除。所以目前EmptyDir类型的volume主要用作...

2018-07-28 16:35:52

阅读数:1426

评论数:0

ubuntu16.04安装使用redis入门教程

环境 Ubuntu 16.04 安装Redis服务器端 ~ sudo apt-get install redis-server 安装完成后,Redis服务器会自动启动,我们检查Redis服务器程序 检查Redis服务器系统进程 ~ ps -aux|grep redis redis ...

2018-07-27 08:52:28

阅读数:1437

评论数:0

docker安装常用组件(mysql,redis)

docker安装mysql docker search mysql 搜索 docker pull mysql:5.6 下载 docker images |grep mysql 查看 docker run -p 3306:3306 --name mysql_dock...

2018-07-27 08:47:00

阅读数:1434

评论数:0

tensorflow c++接口,python训练模型,c++调用

调用tensorflow c++接口,首先要编译tensorflow,要装bazel,要装protobuf,要装Eigen,整体过程还是比较麻烦,bazel安装过程就不说了,下面慢慢来说明下安装步骤。 Eigen(矩阵库下载): wget http://bitbucket.org/e...

2018-07-24 14:50:55

阅读数:1521

评论数:3

ubuntu安装opencv的c++开发环境

为了搭建opencv3,看了各种教程,装了卸,卸了装,多次失败后,在几篇文档的借鉴下,终于是成功搭建了环境。 首先,更新ubuntu上的一些库: sudo apt-get update sudo apt-get upgrade 其次,需要安装一些搭建opencv3的库(要在opencv...

2018-07-24 12:57:56

阅读数:1451

评论数:0

uuid和python中的uuid.py的使用教程

简介 UUID 是 通用唯一识别码(Universally Unique Identifier)的缩写,是一种软件建构的标准,亦为开放软件基金会组织在分布式计算环境领域的一部分。其目的,是让分布式系统中的所有元素,都能有唯一的辨识信息,而不需要通过中央控制端来做辨识信息的指定。如此一来,每个人都...

2018-07-18 15:03:47

阅读数:1428

评论数:0

protobuf-gRPC-kafka-thrift-hbase数据传输

在这个流程中: 1) 需要先定义proto文件 2) 然后通过grcp工具,生成proto格式数据访问py包和grpc协议传输py包 3) 启动grpc服务器,接收proto数据,并作为kafka生产者,想kafka发送数据 4) 启动kafka才能正常接收上面生产者发送的数据 5) 创...

2018-07-16 17:34:21

阅读数:1450

评论数:0

用Python3.6操作HBase之HBase-Thrift

ads

2018-07-15 20:28:17

阅读数:1552

评论数:0

Python3读取kafka消息写入HBASE

kafka消息格式为(None,[json串]) 利用Python3有以下3种方式将kafka消息的往HBASE写入 1、直接消费kafka消息写入HBASE: from kafka import KafkaConsumer import time import happybase im...

2018-07-14 22:32:17

阅读数:1462

评论数:0

python工具使用技巧

pip离线安装 现在有网的机器上使用pip download下载所有离线包 后台运行python 使用nohup可以将命令在后台运行,但是需要定义命令行输出的内容,重定向到文件. nohup 命令 > nohup.out 2&amp...

2018-07-14 19:22:19

阅读数:1449

评论数:0

kafka实战教程(python操作kafka),kafka配置文件详解

什么是kafka 安装 参考:https://www.cnblogs.com/hei12138/p/7805475.html

2018-07-13 19:08:00

阅读数:1589

评论数:0

gRPC传输协议使用(python教程)

gRPC 简介: gRPC 是一款高性能、开源的 RPC 框架,产自 Google,基于 ProtoBuf 序列化协议进行开发,支持多种语言(Golang、Python、Java等),本篇只介绍 Python 的 gRPC 使用。因为 gRPC 对 HTTP/2 协议的支持使其在 Android...

2018-07-13 18:23:02

阅读数:1475

评论数:0

protobuf序列化协议python教程

Protobuf? 是什么?   Google Protocol Buffer(简称 Protobuf)是一种轻便高效的结构化数据存储格式,平台无关、语言无关、可扩展,可用于通讯协议和数据存储等领域。 为什么要用?   - 平台无关,语言无关,可扩展;   - 提供了友好的动态库,使...

2018-07-13 16:11:13

阅读数:1496

评论数:0

ubuntu系统下hbase数据库的安装和使用

安装 首先从http://www.apache.org/dyn/closer.cgi/hbase/下载稳定版安装包,我下的是hbase-1.2.6-bin.tar.gz 2.解压放在/usr/local的目录下 3.修改权限 sudo chown -R luanpeng hbase-1...

2018-07-13 11:26:58

阅读数:1448

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭