- 博客(78)
- 收藏
- 关注
RSS订阅原创 第一章 知识图谱概述 ----知识图谱方法、实践与应用 王昊奋
知识图谱方法、实践与应用第一章 知识图谱概述知识图谱是人工智能的一个分支，对可解释人工智能具有重要的作用。 理论：知识图谱的各种表示方法，以及知识图谱的推理方法。 技术：知识图谱的存储和查询技术、挖掘构建、知识融合技术，以及基于知识图谱的语义搜索和智能问答技术。 知识图谱：一种用图模型来描述知识和建模世界万物之间关联关系的技术方法。知识图谱是由节点和边组成，节点可以是实体，也可以是抽象概念，边可以是实体的属性（实体之间的关系）。 知识图谱旨在从数据中识别、发现和推断事物与概念之间的复杂..
2021-03-02 10:19:41
1262
1
原创 openstack
openstack参考文档准备工作：虚拟机上网[root@server1 ~]# route add default gw 172.25.3.250 -bash: route: command not found虚拟机上网[root@server1 ~]# vim /etc/yum.repos.d/redhat.repo [root@server1 ~]# vim /etc/y...
2018-12-01 17:43:35
475
原创 实现hadoop+zookeeper高可用集群
本篇hadoop+zookeeper高可用是在上篇博客hadoop集群节点的搭建的基础上实现的系统环境:RHEL6.5 selinux and iptables is disabledHadoop 、jdk、zookeeper 程序使用 nfs 共享同步配置文件本次实验安装包的版本：hadoop-2.7.3.tar.gzzookeeper-3.4.9.tar.gz jdk-7u...
2018-11-20 23:15:20
405
原创 Hadoop完全分布式部署集群、增加节点以及删除节点
实验环境:(可在上一篇博客中查看 server1配置情况.)主机名ipserver1172.25.254.1主节点server2172.25.254.2从节点server3172.25.254.3从节点[hadoop@server1 hadoop-2.7.3]$ sbin/stop-yarn.sh ## 停掉server1的服务[h...
2018-11-20 11:21:54
505
原创 hadoop的单机版测试
一、了解HadoopHadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算。而两者只是理论基础，不是具体可使用的高级应用。HDFS的设计特点是：1、大数据文件，非常适合上T级别的大文件或者...
2018-11-19 20:03:17
829
原创 配置分布式MFS的高可用
实验环境：主机ipserver1172.25.254.1mfsmasterserver2172.25.254.2mfschunkserverserver3172.25.254.3mfschunkserverserver4172.25.254.4mfsmaster物理主机172.25.254.96mfsclient在serve...
2018-11-15 22:00:13
102
原创 部署MFS文件系统
MFSMooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。 MFS的读数据过程:client当需要一个数据时，首先向master server发起查询请求；管理服务器检索自己的数据，获取到数据所在的可用数据服务器位置ip|port|chunkid；管理服务器将数据服务器的地址发送给客户端；客户端向具体的数据服务器发...
2018-11-15 20:09:52
213
1
原创 Saltstack把数据返回到mysql数据库&&编写执行模块&&搭建top master
利用saltstack结合mysql数据库测试返回值：配置方法一：利用minion端的配置测试mysql的返回值：[root@server1 ~]# yum install mysql-server -y[root@server2 ~]# yum install -y MySQL-python.x86_64[root@server2 ~]# vim /etc/salt/mini...
2018-11-15 16:49:16
282
1
原创 利用saltstack一键部署高可用负载均衡集群
实验环境：Server1 172.25.254.1 maseter/minion keepalived/haproxyServer2 172.25.254.2 minion httpdServer3 172.25.254.3 minion nginxServer4 172.25.254.4 minion keepalived/haproxy配置一台新的serv...
2018-11-14 20:17:13
421
原创 grains和pillar导入模块区别、jinja模板
一、Grains组件Grains是saltstack记录minion的一些静态信息组件，可以简单的理解为grains里面记录着每台minion的一些常用的属性，比如cpu、内存、磁盘、网络信息等，可以通过grains.items查看某台minion的grains所有信息，minion的grains信息是minion启动的时候采集汇报给master的。grains会在minion进程启动时进行加...
2018-11-13 23:36:12
210
原创 自动化运维工具SaltStack部署
了解saltstackSaltStack是一个服务器基础架构集中化管理平台，具备配置管理、远程执行、监控等功能，基于Python语言实现，结合轻量级消息队列（ZeroMQ）与Python第三方模块（Pyzmq、PyCrypto、Pyjinjia2、python-msgpack和PyYAML等）构建。通过部署SaltStack，我们可以在成千万台服务器上做到批量执行命令，根据不同业务进行配置集...
2018-11-07 22:26:13
196
原创 zabbix --- api
API（Application Programming Interface,应用程序编程接口）是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节远程过程调用（RPC）：通过作用在共享数据缓存器上的过程（或任务）实现程序间的通信。标准查询语言（SQL）：是标准的访问数据的查询语言，通过通用数据库实现应用程序间的数据...
2018-11-07 15:19:10
101
原创 MySQL-proxy 实现读写分离
实验环境:Server1:masterServer2:slaveServer3:mysql-proxyFondation7:client在做实验之前配置好server1和server2的主从复制,不再演示Proxy的配置：[root@server3 ~]# tar zxf mysql-proxy-0.8.5-linux-el6-x86-64bit.tar.gz[root@ser...
2018-11-07 15:17:44
120
原创 MYSQL数据库的组复制
数据库组复制的原理：组复制是一种可用于实现容错系统的技术。复制组是一个通过消息传递相互交互的服务器组。通信层提供了很多保证，例如原子消息和总消息序号的传递。通过这些强大的特性，我们可以构建更高级的数据库复制解决方案。[1]. 配置server1、server2、server3停掉之前的服务，清空数据库目录中的记录（/var/lib/mysqld）[2]. 配置三个节点的配置文件/etc/...
2018-10-24 21:28:38
127
原创 mysql主从复制，基于GTID主从复制，并行复制，半同步复制
一、主从复制[1]. 主从复制原理：复制原理：Mysql中有一种日志叫做bin日志（二进制日志）。这个日志会记录下所有修改了数据库的SQL语句主从复制的原理其实就是把主服务器上的bin日志复制到从服务器上执行一遍，这样从服务器上的数据就和主服务器上的数据相同了。主从复制原理：从库生成两个线程，一个I/O线程，一个SQL线程； i/o线程去请求主库 的binlog，并将得到的bi...
2018-10-24 21:09:25
118
原创 Nginx+Tomcat+Memcached实现session共享
一、环境部署实验环境：server1:nginx tomcat memcachedserver2:tomcat memcached1. jdk的部署[1]. 解压[root@server1 ~]#tar zxf jdk-7u79-linux-x64.tar.gz -C /usr/local/ ##解压至/usr/local[root@server1 ~]# cd /usr/l...
2018-10-18 17:48:47
143
原创 MemCache对PHP和Nginx的缓存加速优化
一、MemCache[1]. 简介memcache是一个高性能的分布式的内存对象缓存系统，用于动态Web应用以减轻数据库负担。memcache通过在内存里维护一个统一的巨大的hash表，来存储经常被读写的一些数组与文件，从而极大的提高网站的运行效率。memcache是一种内存缓存技术，是一种缓存手段，要看情况来使用。对于频繁读取，每次读取重复率高，数据更新频度低的数据，用memcach...
2018-10-17 19:32:15
948
原创 LNMP架构的搭建（Linux+Nginx+MySQL+PHP源码安装 ）+Discuz论坛的搭建
一、LNMP简介LNMP代表的就是：Linux系统下Nginx+MySQL+PHP这种网站服务器架构。Linux是一类Unix计算机操作系统的统称。Nginx是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP代理服务器。Mysql是一个小型关系型数据库管理系统。PHP是一种在服务器端执行的嵌入HTML文档的脚本语言。这四种软件均为免费开源软件，组合到一起，成为...
2018-10-17 18:48:37
652
原创 corosync + pacemaker实现集群的高可用
Pacemaker是一个集群资源管理器。它利用集群基础构件（OpenAIS、heartbeat或corosync）提供的消息和成员管理能力来探测并从节点或资源级别的故障中恢复，以实现群集服务（亦称资源）的最大可用性。pacemaker和corosync，后者用于心跳检测，前者用于资源转移。两个结合起来使用，可以实现对高可用架构的自动管理。 心跳检测是用来检测服务器是否还在提供服务，只要出现异常...
2018-10-17 17:05:23
106
原创 HAproxy的负载均衡，以及基于TCP和HTTP的应用程序代理
在server1配置haproxy:博客学院下载图文课TinyMind论坛APP问答商城VIP会员活动招聘ITeyeGitChat写博客发Chat传资源原 HAproxy的负载均衡，以及基于TCP和HTTP的应用程序代理2018年08月04日 20:24:29 jay_youth 阅读数：167 标签： haproxy 访问控制 负载均衡HAProxy...
2018-10-17 17:04:07
344
原创 RHCS的存储集群（MYSQL为例）
RHCS套件提供了集群系统中三种集群构架，分别是高可用性集群、负载均衡集群、存储集群。今天了解一下存储集群：一、环境[1] 在server2添加一块磁盘作为共享磁盘[2]. 在server1和server4中安装iscsi客户端：yum install iscsi-* -y[3]. 在server2安装scsi服务端（共享磁盘所在端）：yum install -y scsi-*...
2018-10-10 16:08:25
145
原创 RHCS的高可用性集群
RHCS（Red Hat Cluster Suite），也就是红帽子集群套件，RHCS是一个能够提供高可用性、高可靠性、负载均衡、存储共享且经济廉价的集群工具集合，它将集群系统中三大集群 架构融合一体，可以给web应用、数据库应用等提供安全、稳定的运行环境。更确切的说，RHCS是一个功能完备的集群应用解决方案，它从应用的前端访问到后端的数据存储都提供了一个行之有效的集群架构实现，通过RHCS提供...
2018-10-09 21:03:28
210
原创 LVS | LVS 负载均衡原理 （FULL-NAT模式）（四）
无论是 DR 还是 NAT 模式，不可避免的都有一个问题：LVS 和 RS 必须在同一个 VLAN 下，否则 LVS 无法作为 RS 的网关。这引发的两个问题是：1、同一个 VLAN 的限制导致运维不方便，跨 VLAN 的 RS 无法接入。2、LVS 的水平扩展受到制约。当 RS 水平扩容时，总有一天其上的单点 LVS 会成为瓶颈。Full-NAT 由此而生，解决的是 LVS 和 RS ...
2018-10-09 17:52:06
158
原创 nginx实现负载均衡
一、nginx的安装编译server1:[1] nginx的安装包：nginx-1.14.0.tar.gz[2] 解压 tar zxf nginx-1.14.0.tar.gz进入解压文件，修改编译配置(版本号、占空间大小...)[root@server1 nginx-1.14.0]# lsauto CHANGES.ru configure html m...
2018-10-08 17:47:46
211
原创 LVS | LVS 负载均衡原理（TUN模式）（三）
LVS-TUN模式：它的连接调度和管理与VS/NAT中的一样，利用ip隧道技术的原理，即在原有的客户端请求包头中再加一层IP Tunnel的包头ip首部信息，不改变原来整个请求包信息，只是新增了一层ip首部信息，再利用路由原理将请求发给RS server，不过要求的是所有的server必须支持”IPTunneling”或者”IP Encapsulation”协议。LVS-TUN 示意...
2018-10-07 14:41:18
192
原创 LVS | LVS 负载均衡原理（NAT模式）（二）
LVS-NAT模式： NAT用法本来是因为网络IP地址不足而把内部保留IP地址通过映射转换成公网地址的一种上网方式(源地址NAT)。如果把NAT的 过程稍微变化，就可以 成为负载均衡的一种方式。 原理其实就是把从客户端发来的IP包的IP头目的地址在DIR上换成其中一台RealServer的IP地址并发至此 RealServer，而RealServer...
2018-10-07 14:08:18
145
原创 LVS | LVS负载均衡原理（DR模式）（一）
一、LVS基本信息1、集群（1）什么是集群呢？集群就是一组独立的计算机，通过网络连接组合成一个组合来共同完一个任务。计算机集群简称集群是一种计算机系统，它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算速...
2018-09-27 18:58:36
300
原创 linux运维：虚拟机封装、CDN
一、虚拟机的封装1、搭建共享yum源2、新建虚拟机（rhel6.5）mem = 512 （默认选择无图形化安装）GiB=20.0G（虚拟硬盘disk，内存大一点）name=baselanuage = English （选择语言）Time Zone = Asia/Shanghai （时区）ipv6 （不选）设置超户密码（westos）3、设置base虚拟机vi /etc/y...
2018-09-22 23:19:48
239
原创 Python之 Mysql、多线程
文章目录一、Mysql1、增2、删3、改4、查二、多线程一、Mysql通过python操作mysql1、增import MySQLdb# 打开门conn = MySQLdb.connect(host='127.0.0.1',user='root',passwd='dd',db='python3')# 伸出手cur = conn.cursor()# 操作数据sql = 'in...
2018-09-19 19:48:22
634
原创 Python之文件操作
一、异常1、概念异常:程序在运行的时候，如果python解释器遇到一个错误，会停止程序的执 行，并且提示一些错误的信息，这就是异常我们在程序开发的时候，很难将所有的特殊情况都处理，通过异常捕获可以针对突发事件做集中处理，从而保证程序的健壮性和稳定性2、简单捕获异常的语法在程序开发中，如果对某些代码的执行不能确定（程序语法完全正确）可以增加try来捕获异常try： 尝试执行的代码e...
2018-09-19 17:37:12
85
原创 Python之单例设计模式、异常
一、设计模式设计模式是前人的总结和经验的提炼；通常，被人人们广为流传的设计模式都是针对某一特定问题的成熟解决方案。二、单例设计模式单例：让类创建的对象，在系统中有唯一的实例创建对象的时候：1.为对象分配空间:new()创建对象的时候，python解释器首先会调用__new__方法为ie对象分配空间__new__是一个由object基类提供的内置的静态方法，主要有两个作用：在内存中...
2018-09-19 17:15:49
105
原创 Python之面向对象
一、面向对象1、面向过程：—侧重于怎么做？1.把完成某一个需求的 所有步骤 从头到尾 逐步实现 2.根据开发要求，将某些功能独立的代码封装成一个又一个函数 3.最后完成的代码，就是顺序的调用不同的函数特点：1.注重步骤与过程，不注重职责分工 2.如果需求复杂，代码会变得很复杂 3.开发复杂项目，没有固定的套路，开发难度很大2、面向对象：–谁来做?相比较函数，...
2018-09-13 14:47:01
132
原创 Python之模块
一、模块在 Python 中，一个.py文件就称之为一个模块(Module)。其优势在于：大大提高了代码的可维护性;当一个模块编写完毕,就可以被其他地方引用;二、源模块1.内置模块如：time（时间模块）、functools（函数工具模块）、random（随机数）2.自定义模块含有自定义python脚本的目录、包均可3.第三方模块需要联网安装，例如i...
2018-09-13 14:01:00
102
原创 Python之函数装饰器
一、map函数map()传入的第一个参数是一个函数，第二个参数是一个序列 map 将传入的函数依次作用到序列的每个元素,并把结果作为新的 list 返回def f(x): return x * xprint map(f, [1, 2, 3]) ##返回[1, 4, 9]把列表中的所有数字转为字符串print(list(map(str,[1,2,3,4])...
2018-09-13 13:32:02
111
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人