- 博客(18)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 kafka 架构及其原理
kafka特性kafka是一个 分布式的、支持分区的（partition）、多副本的（replica），基于zookeeper协调的 分布式消息系统。从上面的描述中我们可以知道kafka的核心知识点：partition、replicaTopic和Partition一个topic可以认为一个一类消息，每个topic将被分成多个partition。在上图中我们的生产者会决定发送到哪个 ...
2020-04-19 02:17:31
268
原创 分布式数据存储原理简介
什么是分布式数据存储系统分布式存储系统的核心逻辑，就是将用户需要存储的数据根据某种规则存储到不同的机器上，当用户想要获取指定数据时，再按照规则到存储数据的机器里获取。如下图所示，当用户（即应用程序）想要访问数据 D，分布式操作引擎通过一些映射方式，比如 Hash、一致性 Hash、数据范围分类等，将用户引导至数据 D 所属的存储节点获取数据。静下心来想一下，获取数据的整个过程与你到商店...
2020-04-19 00:48:40
7537
原创 flink 异步io原理 访问hbase
Aysnc I/O 概念Async I/O 是阿里巴巴贡献给社区的一个呼声非常高的特性主要目标：是为了解决与外部系统交互时网络延迟成为了系统瓶颈的问题。具体的概念及使用方式可以看官方文档flink异步io原理先上一张原理图：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TRgdIpCo-1583310478002)(952898CDB8D144BFBA...
2020-03-04 16:28:48
2086
原创 使用 Nexus 搭建 PyPi 私服及上传
最近一直在找pytho的包管理器pypi私服，通过google，找到比较流行的2种服务器： Nexus Repository Manager OSS 3.x 与 devpiNexus Repository Manager OSS 3.x安装https://www.sonatype.com/nexus-repository-oss 下载，解压，运行即可执行启动命令cd /home/soft/nexu...
2018-04-19 00:01:59
36593
1
原创 Windows10 64 位下安装 TensorFlow
所需软件的安装版本软件版本AnacondaPython 3.5.2 :: Anaconda 4.2.0 (64-bit)CUDAcuda_9.0.176_win10CuDNNcudnn-9.0-windows10-x64-v7.1不想去一个一个下载，我帮你都整理好了，TensorFlow安装套件 百度云下载地址:链接：https://pan.baidu.com/s/1wSvXlwE12GTw27k...
2018-04-14 18:13:18
22689
原创 Python重新加载模块方法
importlib 模块的作用模块，是一个一个单独的py文件 包，里面包含多个模块（py文件）动态导入模块，这样就不用写那么多的import代码， 典型的例子： 自动同步服务，每个网站都有一个py文件。主进程里收到同步任务，根据名称来动态导入对应的py文件，这样就不用写那么多的import代码。（有点类似java的工厂方法）但是，importlib并不能解决我在线修改py源码，再不重启进程的情况下...
2018-04-10 23:37:42
32583
1
原创 Python中__init__.py文件的作用详解
init.py 文件的作用是将文件夹变为一个Python模块,Python 中的每个模块的包中，都有__init__.py 文件.这篇文章主要介绍了Python中__init__.py文件的作用详解,非常不错，具有参考借鉴价值，需要的朋友可以参考下批量引入init.py 文件的作用是将文件夹变为一个Python模块,Python 中的每个模块的包中，都有__init__.py 文件。通常__ini...
2018-04-10 23:37:11
39033
2
原创 python的模块搜索路径 pythonPath
Python中的PYTHONPATH环境变量PYTHONPATH是Python中一个重要的环境变量,用于在导入模块的时候搜索路径.可以通过如下方式访问:>>> import sys>>> sys.path['', '/usr/lib/python2.7', '/usr/lib/python2.7/plat-x86_64-linux-gnu', '/usr/...
2018-04-10 23:36:33
25566
原创 python程序的热部署实现
pytho程序的热部署知乎上面的回答真正意义上的代码热部署应该是类似erlang那样的，将代码更新到节点后不停服务，不断连接的自动应用新代码。auto reload（代表django的autoreload）什么的还是会造成业务瞬间中断。我感觉是可以从wsgi容器级别上实现，比如更新代码后检测到文件变更，然后通知容器创建新的wsgi application的实例，之后所有新的请求都发送到新的wdgi...
2018-04-10 23:35:58
29564
原创 python虚拟环境--virtualenv以及virtualenvwrapper管理工具
概念区分virtualenv 是一个创建隔绝的Python环境的工具virtualenvwrapper是管理virtualenv的工具virtualenv安装pip install virtualenv基本使用为一个工程创建一个虚拟环境：cd my_project_dirvirtualenv venv #venv为虚拟环境目录名，目录名自定义你可以选择使用一个Python解释器：virtu...
2018-04-10 23:35:02
25023
原创 Python打包分发工具setuptools简介
作为Python标准的打包及分发工具，setuptools可以说相当地简单易用。它会随着Python一起安装在你的机器上。你只需写一个简短的setup.py安装文件，就可以将你的Python应用打包。本文就会介绍下如何编写安装文件及如何打包分发。安装文件接下来让我们编写安装文件，假设我们的项目名为setup-demo，包名为myapp，目录结构如下：setup-demo/ ├ setup.py...
2018-04-10 23:34:07
22781
原创 django的urls映射管理
django的urls文件管理djang是有多个应用组成的，多个应用的url路由管理由根应用下的urls.py管理当然可以把所有的url映射写在跟应用的urls里面，但是那样不好维护，可以使用include方法将各个应用的url映射分散到各个应用中去在应用下新建urls.py文件from django.conf.urls import urlfrom demo import viewsur...
2018-04-10 23:32:57
23110
原创 django的autoreload机制
在开发django应用的过程中，使用开发者模式启动服务是特别方便的一件事，只需要 python manage.py runserver 就可以运行服务，并且提供了非常人性化的autoreload机制，不需要手动重启程序就可以修改代码并看到反馈。源码分析：runserver命令命令行键入 python manage.py runserver 后，django会去寻找runserver这个命令的执行模...
2018-04-10 23:32:22
25384
1
原创 django使用命令建立项目
django-admin 命令django-admin startproject stock_beta # stock_beta 项目名称文件目录结构manager.py 是django用于管理本项目的命令行工具，运行、数据库自动生成等功能内层stock_beta目录包含项目的实际文件settings.py 项目配置文件urls.py url路由映射wsgi.py 定义wsgi的接口信息，...
2018-04-10 23:31:35
23172
原创 WSGI服务与django的关系
WSGI接口wsgi是将python服务器程序连接到web服务器的通用协议。uwsgi是独立的实现了wsgi协议的服务器。web服务器服务端程序简化版的WSGI架构服务端程序（类似django的角色）新建webapp.py# coding=utf-8# 简化版的服务端程序def application(environ, start_response): start_response(...
2018-04-10 23:30:54
27291
原创 docker 构建镜像并推送到Harbor私服
搭建私服Harbor 企业级 Docker RegistryHarBor项目：https://github.com/vmware/harbor 下载：https://github.com/vmware/harbor/releases 安装文档：https://github.com/vmware/harbor/blob/master/docs/installation_guide.md 参考：htt...
2018-04-03 23:57:28
31002
1
原创 在centos7安装docker时遇到的Error downloading packages
发现服务器上面安装的docke太旧了，就想升级一下docke版本首先，先卸载旧的版本1，查询安装过的包yum list installed | grep dockerdocker-engine.x86_64 17.03.0.ce-1.el7.centos @dockerrepo2，删除安装的软件包yum -y remove docker-eng...
2018-04-03 23:52:13
33803
3
原创 docker一键安装脚本-快速安装
ubuntu安装dockerUbuntu 发行版中，LTS（Long-Term-Support） 长期支持版本，会获得 5 年的升级 维护支持，这样的版本会更稳定，因此在生产环境中推荐使用 LTS 版本。Docker 目前支持的 Ubuntu 版本最低为 12.04 LTS，但从稳定性上考虑，推荐使用 14.04 LTS 或更高的版本。Docker 需要安装在 64 位的 x86 平台或 ARM ...
2018-04-03 23:48:24
50846
1
scala-2.12.7.msi文件
2018-12-02
《深度学习Deep Learning 》中文版 高清完整PDF版 下载
2018-04-14
贤二机器僧漫游人工智能.pdf
2018-04-10
Spring Cloud微服务实战.pdf
2018-04-07
Docker技术入门与实战-第2版
2018-04-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人