![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
自由的海盗
这个作者很懒,什么都没留下…
展开
-
使用Haproxy+lua代理Mongodb副本集
一般情况下,使用mongo客户端,或者其他语言的mongo客户端驱动程序连接mongodb副本集的时候,只需要指定副本集名称,就可以实现当mongodb副本集主备切换时的高可用目标。但是总有一些特殊的场合,连接到副本集的客户端与副本集所在的网络是隔离的,只能通过副本集所在网络的代理访问副本集,比如说,mongodb副本集被部署到k8s上,当k8s集群外的客户端想访问副本集时,只能通过代理进行访...原创 2020-01-30 21:43:35 · 1835 阅读 · 0 评论 -
Go\Gin\Mustache
给K8s做一个小功能,主要使用kubectl调用若干命令,包括一些静态页面,使用Go语言开发,包括gonic/gin、hoisie/mustache这些第三方包,前端简单使用vue+elementui。 使用go的主要原因是生产环境的不确定,只确定是centos系统,不确定有没有python或者java的运行环境,为了避免麻烦,正好可以利用go的可移植性...原创 2019-11-16 23:04:35 · 405 阅读 · 2 评论 -
K8S备忘-续1
原创 2019-06-23 23:17:52 · 239 阅读 · 0 评论 -
最小的虚拟机-alpine
搞个alpine的虚拟机,撞上docker和redis之后,只占用1.5g空间,实际运行起来,资源占用也比centos7或者ubuntu18少了一倍有余,docker要用它来做基础镜像是有原因的。最新版是3.9.1,可从官方网站 alpinelinux.org 上下载,linux内核是4.19.26。 同是3.9.1版本,alpine linux...原创 2019-03-04 23:54:21 · 4304 阅读 · 0 评论 -
ElasticSearch最实用入门指南——初步环境
ES作为全文检索引擎,在世界范围内被广泛实用,国内阿里在用、华为在用、58在用,不会用ES,是不对的... ES与关系型数据库的概念对比 关系型数据库 Databases Tables Rows Columns ElasticSearch ...原创 2018-12-30 20:24:35 · 679 阅读 · 0 评论 -
谷歌机器学习框架TensorFlow概览
TensorFlow是Google Brain的第二代机器学习系统,许可证协议是Apache Licence 2.0,就是说不修改代码的情况下随便用,商用也可以。中文官方网址:https://www.tensorflow.org/?hl=zh-cn按照文档安装tensorflow环境并不困难,python包不大,但是运行第一个demo,需要安装tensorflow的模型库,demo也在模型库中gi...原创 2018-06-26 23:48:44 · 3909 阅读 · 0 评论 -
重温 Apache Kafka
1.核心概念Kafka最初是由LinkedIn在2011年开发出来的,从那开始,Kafka逐渐发展成为一个完整的平台,允许你冗余存储难以置信的数据量,提供巨大吞吐量的消息总线(百万级/秒),以及对这些消息的实时流处理。Kafka的核心可概括为:分布式(distributed)、水平扩展(horizontally-scalable)、容错性(fault-tolerant)、持久性日志(commit ...原创 2018-07-02 08:37:40 · 261 阅读 · 0 评论 -
5分钟搭建大数据学习环境
想学大数据,先搭个环境再说,要准备多少台服务器,每台服务器的基础环境设置,各个服务器的网络互联,真是很麻烦的一件事 第一座山先把想入门的学习者挡在门外,别放弃,这里又一个即全面又快捷的搭建大数据环境的方法,排除下载软件的时间,只需要5分钟,就可以拥有一个自己的大数据环境,包括绝大部分大数据生态环境的各个组建,完美得不能再完美。 只需按照以下步骤进行: 一、下载并安装ora...原创 2018-06-15 11:05:26 · 11704 阅读 · 3 评论 -
初学者看大数据生态圈
先从Hadoop说起。 经常看到有大咖在语录中提及:有了Spark,就永远不要Hadoop了,真有大咖这么说的,不信百度能看见。 仔细想下,有点道理:如果只是作为业务层面的开发者,对于大数据技术而言,确实只学Spark就可以了,但是如果是系统架构师的话,hadoop还是要学的,因为作为大数据的系统架构师,没办法回避hadoop。Hadoop的三个概念组件,spark在这里主要替代的是Map...原创 2018-06-21 02:21:25 · 1474 阅读 · 0 评论