- 博客(807)
- 资源 (9)
- 收藏
- 关注
RSS订阅转载 python分布式多进程框架 Ray
并行和分布式计算是现代应用程序的主要内容。我们需要利用多个核心或多台机器来加速应用程序或大规模运行它们。网络爬虫和搜索所使用的基础设施并不是在某人笔记本电脑上运行的单线程程序，而是相互通信和交互的服务的集合。ray的api接口教程：https://ray.readthedocs.io/en/latest/api.html为什么要使用 Ray？很多教程解释了如何使用 Python 的多进程模块...
2019-03-13 19:49:27
31412
6
转载 Hbase GC调优原理分析
实践中，HBase使用的内存不断增长，但JDK可用的垃圾收集算法仍然相同。这导致了HBase的许多用户的一个主要问题：随着Java使用堆大小继续增长，垃圾回收导致的“stop-the-world”时间变得越来越长。这在实践中意味着什么？在垃圾回收导致的“stop-the-world”期间，任何到HBase客户端请求都不会被处理，造成用户可见的延迟，甚至超时。如果因为暂停导致请求超过一分钟响应，H...
2019-03-10 17:32:16
4993
原创 solrcloud 7.5在k8s上的部署安装和使用教程
solr的docker hub 官网：https://hub.docker.com/_/solr/Solr将其核心数据存储在server/solr目录的每个核心的子目录中。该server/solr目录还包含属于Solr分发的配置文件。所以如果想在k8s中持久化，需要添加挂载。Solr支持SOLR_HOME环境变量以指向Solr主目录的非标准位置。这里我们使用外部zookeeper，zk下的/...
2019-03-10 17:31:14
2637
原创 grafana设置mysql为数据源，并进行可视化
全栈工程师开发手册 （作者：栾鹏） 架构系列文章官网：http://docs.grafana.org/features/datasources/mysql/先封装一下最新的grafana，docker hub地址SELECT from_unixtime(create_time) as time_sec, count(device_id) as value, device_i...
2019-03-10 17:29:49
14498
1
转载 Kubernetes vs OpenStack
前言最近2年相信大家都听过kubernetes这种新容器编排工具，越来越多的公司也去学习相关技术，并运用它去解决公司的问题，它在开源社区也是非常火，大小不断的k8smeeting以及容器相关的会议。这火爆程度和在2011年到2016年之间非常火的Openstack非常相似，不论是社区还是公司都是积极的去推动。笔者处在互联网之中，也接触学习过这两套系统，对他们相关技术也是非常的热爱，也在慢慢的根据...
2019-03-06 16:25:14
1386
原创 zookeeper教程,docker 安装,命令,python操作zookeeper，分布式队列，分布式锁
zookeeper命令ZooKeeper客户端有C语言和Java两个版本。ZooKeeper的命令在/usr/lib/zookeeper/bin文件夹下。运行Java版本的客户端使用bash zkCli.sh -server IP:port ，运行C语言版本的使用./cli_mt IP:port，下面介绍Java版本的，C语言版差不多。查看具体结点信息root@ubuntu:/usr/l...
2019-03-06 09:37:45
736
原创 使用GlusterFS作为Kubernetes的后端存储
用GlusterFS作为Kubernetes的存储这里简单的介绍一下使用基于容器化的GlusterFS + heketi作kubernetes的后端存储的部署方式；对于GlusterFS的介绍这里就不多说了；部署过程主要参考：gluster-kubernetes1、环境[root@master-0 ~]# kubectl get nodes -o wideNAME STAT...
2019-02-17 14:23:20
2139
原创 tornado使用mysql 连接池（torndb）
安装torndb包pip install torndbpython3.6修改修改C:\Program Files\Python36\lib\site-packages\torndb.py或者/usr/local/lib/python3.6/dist-packages/torndb.py#!/usr/bin/env python## Copyright 2009 Facebook#...
2019-02-17 14:21:15
3608
原创 Windows10+Ubuntu16.04（ubuntu18.04）双系统安装
前言：装双系统的三种方案 1、VirtualBox或者VMware虚拟机安装，主系统与虚拟机系统切换方便，但对于我这样的渣渣配置，能卡到我哭，可能有一些优化措施，不过我没有试过，我用虚拟机大多是安装一些一次性软件，用后即卸，不用担心卸载后在主机上有垃圾信息，还有就是想尝试一些新系统，虽然咱配置不咋地，但就是这么任性。 2、Wubi安装，Wubi(Windows Ubuntu-Based I...
2019-02-17 14:20:21
15878
转载 自动化运维工具(ansible入门教程)
Ansible是一个配置管理和配置工具，类似于Chef，Puppet或Salt。这是一款很简单也很容易入门的部署工具，它使用SSH连接到服务器并运行配置好的任务，服务器上不用安装任何多余的软件，只需要开启ssh，所有工作都交给client端的ansible负责。关于Ansible的一个好处是，将bash脚本转换为可执行任务是非常容易的。我们可以编写自己的配置程序，但是Ansible更加干净，因为...
2019-02-11 10:26:49
2159
原创 postgres数据库入门, python 操作postgres
安装需要的包 pip install psycopg2主要的api接口1 psycopg2.connect(database="testdb", user="postgres", password="cohondob&a
2019-02-11 10:24:40
2381
转载 RabbitMQ用户角色及权限控制
RabbitMQ的用户角色分类：none、management、policymaker、monitoring、administratoruser 有5种 tags ：management ：访问 management plugin；policymaker ：访问 management plugin 和管理自己 vhosts 的策略和参数；monitoring ：访问 management...
2019-02-01 21:53:44
3076
转载 python基础系列教程——Python3.x标准模块库目录
全栈工程师开发手册 （作者：栾鹏）python教程全解文本string：通用字符串操作re：正则表达式操作difflib：差异计算工具textwrap：文本填充unicodedata：Unicode字符数据库stringprep：互联网字符串准备工具readline：GNU按行读取接口rlcompleter：GNU按行读取的实现函数二进...
2019-01-27 12:00:03
8994
5
转载 C#正则表达式Regex类的用法
一、C#正则表达式符号模式字 符描 述\转义字符，将一个具有特殊功能的字符转义为一个普通字符，或反过来^匹配输入字符串的开始位置$匹配输入字符串的结束位置*匹配前面的零次或多次的子表达式+匹配前面的一次或多次的子表达式?匹配前面的零次或一次的子表达式{n}n是一个非负整数，匹配前面的n次子表达式{n,}n是一个非负...
2019-01-27 08:40:01
2062
原创 hadoop相关问题
spark运行时出现Neither spark.yarn.jars nor spark.yarn.archive is set错误的解决办法（图文详解）在hdfs上创建目录： hdfs dfs -mkdir /lp/hadoop/spark_jars上传spark的jars到HDFS上: hdfs dfs -put /lp/hadoop/spark-2.3.0-bin-...
2019-01-17 19:54:48
1260
原创 k8s中实现自动数据库初始化(mysql,postgresql)
我们知道在代码里面创建数据库链接需要先有database, 但是我们刚刚部署的数据库可能还没有database或者没有指定权限的用户,这就要求我们在部署完数据库以后手动链接,创建数据库和用户. 有两种方式来实现自动化, 这里以mysql为例通过环境变量实现在k8s中部署mysql时,可以传环境变量指定,例如下面的yaml文件apiVersion: apps/v1kind: Deploy...
2019-01-17 11:11:55
10094
1
原创 开发图形辅助工具
xmind:脑图win版本的可以转为甘特图示例效果安装参考:https://blog.csdn.net/qq_16093323/article/details/80967867架构图绘制 (AWS工具)最经典的当属4+1视图：逻辑视图开发视图过程视图物理视图场景视图在线地址: https://cloudcraft.co/app示例:APP 后台架构：IOT 架...
2019-01-16 14:02:20
1376
转载 Kong API Gateway 配置文件详解
一、前言Kong配置文件是Kong服务的核心文件，它配置了Kong以怎么的方式运行，并且依赖于这个配置生成Nginx的配置文件，本文通过解读Kong配置文件，以了解Kong的运行和配置。在成功安装Kong以后，会有一个名为kong.conf.default默认的配置文件示例,如果是通过包管理器安装的，通常位于/etc/kong/kong.conf.default，我们要将其复制为kong.co...
2019-01-14 17:58:51
6124
原创 kong自定义插件(修改官方插件)
kong的插件安装参考:https://blog.csdn.net/luanpeng825485697/article/details/85287291kong官方插件的使用参考:https://blog.csdn.net/luanpeng825485697/article/details/85326831自定义插件:文件结构Kong 插件的文件结构分基本插件模块和完整插件模块两种，基本插...
2019-01-14 17:42:16
9929
1
转载 python网络爬虫系列教程——python网络数据爬虫误区，让你的爬虫更像人类
1 前言近期，有些朋友问我一些关于如何应对反爬虫的问题。由于好多朋友都在问，因此决定写一篇此类的博客。把我知道的一些方法，分享给大家。博主属于小菜级别，玩爬虫也完全是处于兴趣爱好，如有不足之处，还望指正。在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用“网络数据采集”，有时会把网络数据采集程序称为网络机器人（bots）。最常用的方法是写一个自动化程...
2019-01-12 17:45:50
3092
1
原创 nginx使用教程，在k8s上的安装部署，代理内网mysql/docker
k8s部署nginx对于nginx来说，需要持久化的数据主要有两块：1、nginx配置文件和日志文件2、网页文件一、部署podapiVersion: v1kind: ReplicationControllermetadata: name: nginx-test labels: name: nginx-testspec: replicas: 1 selecto...
2019-01-12 15:37:30
27523
7
原创 ZipKin原理学习(分布式实时数据追踪系统)+window部署zipkin+k8s部署zipkin
ZipKin入门介绍Zipkin是一款开源的分布式实时数据追踪系统（Distributed Tracking System），基于 Google Dapper的论文设计而来，由 Twitter 公司开发贡献。其主要功能是聚集来自各个异构系统的实时监控数据。分布式跟踪系统还有其他比较成熟的实现，例如：Naver的Pinpoint、Apache的HTrace、阿里的鹰眼Tracing、京东的Hydr...
2019-01-08 19:21:02
4239
转载 Tornado请求分析request, 获取请求参数
请求分析requestWEB请求的那些事这节中，我们来根据客户请求报文中的请求行(Request line) ,请求头部(Request Header),请求主体(Request body)的信息，来描述服务端如何处理。请求行的格式：<method> <request-URL> <version>tornado.web库再次重申：tornado 用.
2019-01-06 22:37:30
15335
原创 kubernetes 简介：调度器和调度算法((Affinity/Anti-Affinity, Taints and Tolerations, 自定义调度器 )
简介scheduler 是 kubernetes 的调度器，主要的任务是把定义的 pod 分配到集群的节点上。听起来非常简单，但有很多要考虑的问题：公平：如何保证每个节点都能被分配资源资源高效利用：集群所有资源最大化被使用效率：调度的性能要好，能够尽快地对大批量的 pod 完成调度工作灵活：允许用户根据自己的需求控制调度的逻辑高级调度的新特性主要集中在四个方面:sheduler...
2019-01-05 20:26:27
3552
原创 lua编程入门
IDE安装\汉化编辑器推荐ides, linux系统下ides下载地址:https://www.jetbrains.com/idea/download/#section=linux 我这里下载的Community版本下载后运行bin/ides.sh汉化包,下载https://github.com/pingfangx/jetbrains-in-chinese/tree/master/In...
2019-01-03 18:53:27
8145
原创 hbase权限管理(访问控制标签ACL)
默认情况下，访问hbase是不需要用户密码等认证方式的。开启认证HBase的权限管理依赖协协处理器。所以我们需要配置hbase.security.authorization=true，以及hbase.coprocessor.master.classes和hbase.coprocessor.master.classes使其包含org.apache.hadoop.hbase.security. a...
2019-01-03 09:16:40
5771
原创 k8s的job和CronJob
任务主要包含两种：Job负责批处理任务，即仅执行一次的任务，它保证批处理任务的一个或多个Pod成功结束。CronJob是基于调度的Job执行将会自动产生多个job，调度格式参考Linux的cron系统。jobJob，执行一次任务Job Spec格式spec.template格式同Pod。RestartPolicy仅支持Never或OnFailure。单个Pod时，默认Pod成...
2019-01-02 14:55:18
9417
3
转载 hbase使用restful接口进行数据操作
HBase Rest 是建立在HBase java 客户端基础之上的，提供的web 服务。它存在的目的是给开发者一个更多的选择。1.启动rest 服务（1）hbase rest start用默认的方式启动rest服务，端口是8080。（2）hbase rest start 8585这种方式以端口8585方式启动。（3）以daemon方式启动hbase-daemon.sh start...
2019-01-02 11:14:31
4996
原创 kong插件应用（熔断 限流，黑白名单，认证(basic,key,jwt,hmac,)，授权，加密，zipkin链路跟踪，日志, prometheus可视化, 爬虫控制插件）
插件概述插件之于kong，就像Spring中的aop功能。在请求到达kong之后，转发给后端应用之前，你可以应用kong自带的插件对请求进行处理，合法认证，限流控制，黑白名单校验，日志采集等等。同时，你也可以按照kong的教程文档，定制开发属于自己的插件。kong的插件分为开源版和社区版，社区版还有更多的定制功能，但是社区版是要收费的。目前，KONG开源版本一共开放28个插件，如下：ac...
2018-12-29 11:30:34
17488
3
转载 kong 网关教程入门
helm 安装先创建pvkind: PersistentVolumeapiVersion: v1metadata: name: kong-postgre labels: release: stablespec: capacity: storage: 8Gi accessModes: - ReadWriteOnce persistentVolum...
2018-12-27 17:04:03
21852
1
转载 HBase因hostname可能引起的RIT问题。HBASE的ip和hostname坑
HBase的RegionServer会将自己的hostname上报到zookeeper，客户端连接zookeeper时，获取的是regionserver的hostname，再由hostname获得regionserver的ip地址。基于hbase的这种名称上报机制，客户端连接hbase时，需要能够ping通hbase的hostname，但是如果把hbase的hostname分发到所有的服务器上，毕...
2018-12-21 13:11:16
4884
转载 集群间动态扩展和删除hdfs的datanode和hbase的regionserver
如果你既要增加节点，又要删除节点呢，我推荐的顺序是：新增datanode，新增regionserver，停掉regionserver ，停掉datanode。如果你单独的增加或者移出呢，顺序就是上面拆开的就行啦。如果你新增机器呢，新增datanode，新增regionserver。如果你减少机器呢，停掉regionserver ，停掉datanode。所以演示的话呢，就来个全套，就是新增...
2018-12-21 12:38:27
2898
转载 hbase工作 架构原理
HBase BlockCache机制讲解&源码分析https://blog.csdn.net/bryce123phy/article/details/62051927
2018-12-17 17:04:44
1719
原创 ssh集群服务器免密登录
现在有两个服务器，ip分别为172.16.0.230和172.16.0.221修改服务器的hostname在172.16.0.230上修改/etc/hostname的内容为master2在/etc/hosts中添加内容为172.16.0.230 master2172.16.0.221 master1在172.16.0.221上修改/etc/hostname的内容为ma...
2018-12-15 21:56:51
1663
转载 Horizontal Pod Autoscaler （HPA） 根据资源横向扩展
Horizontal Pod Autoscaler根据观察到的CPU利用率自动调整复制控制器，部署或副本集中的容器数量（或者，通过 自定义指标 支持，根据其他一些应用程序提供的指标）。请注意，Horizontal Pod Autoscaling不适用于无法缩放的对象，例如DaemonSet。Horizontal Pod Autoscaler实现为Kubernetes API资源和控制...
2018-12-13 13:21:32
1771
原创 helm部署ceph在k8s上做分布式存储
现在k8s上拉取镜像docker.io/kolla/ubuntu-source-kubernetes-entrypoint:4.0.0对k8s机器的硬盘进行分区和格式化参考：https://www.cnblogs.com/zishengY/p/7137671.html这个建了两个分区 /dev/vdb1 35G 和/dev/vdb2 5G安装并使用Helm参考：https://...
2018-12-12 19:13:54
6584
2
转载 Kubernetes Pod 优先级和抢占
Kubernetes 1.8 及其以后的版本中可以指定 Pod 的优先级。优先级表明了一个 Pod 相对于其它 Pod 的重要性。当 Pod 无法被调度时，scheduler 会尝试抢占（驱逐）低优先级的 Pod，使得这些挂起的 pod 可以被调度。在 Kubernetes 未来的发布版本中，优先级也会影响节点上资源回收的排序。注： 抢占不遵循 PodDisruptionBudget；更多详细的...
2018-12-11 12:47:20
2308
1
转载 kubernetes kubelet参数
概要kubelet 是运行在每个节点上的主要的“节点代理”，每个节点都会启动kubelet进程，用来处理Master节点下发到本节点的任务，按照PodSpec描述来管理Pod和其中的容器（PodSpec 是用来描述一个 pod 的 YAML 或者 JSON 对象）。kubelet 通过各种机制（主要通过 apiserver ）获取一组 PodSpec 并保证在这些 PodSpec 中描述的容器...
2018-12-11 12:46:17
6028
2
转载 kubernetes--pod的生命周期管理（PostStart，PreStop）
lifecycle创建资源对象时，可以使用lifecycle来管理容器在运行前和关闭前的一些动作。lifecycle有两种回调函数：PostStart：容器创建成功后，运行前的任务，用于资源部署、环境准备等。PreStop：在容器被终止前的任务，用于优雅关闭应用程序、通知其他系统等等。例1、部署代码以下示例中，定义了一个Pod，包含一个JAVA的web应用容器，其中设置了PostS...
2018-12-09 12:39:14
24597
转载 pod配置Liveness和Readiness探针
本文将向您展示如何配置容器的存活和可读性探针。kubelet 使用 liveness probe（存活探针）来确定何时重启容器。例如，当应用程序处于运行状态但无法做进一步操作，liveness 探针将捕获到 deadlock，重启处于该状态下的容器，使应用程序在存在 bug 的情况下依然能够继续运行下去。Kubelet 使用 readiness probe（就绪探针）来确定容器是否已经就绪可以...
2018-12-08 23:53:11
4095
simplemaps_worldcities_basicv1.6.zip
2020-02-15
linux下捕获数据包libpcap所需安装包
2014-04-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人