weixin_30552635的博客

curl -o /dev/null -s -w %{http_code}:%{http_connect}:%{content_type}:%{time_namelookup}:%{time_redirect}:%{time_pretransfer}:%{time_connect}:%{time_starttransfer}:%{time_total}:%{speed_down...

一、Q方法1.对关键字参数进行封装：from django.db.models import Qfrom app01.models import Userinfo userinfo = Userinfo.objects.filter(Q(question__startswith='王'))2.&，| 操作符当一个操作符作用于两个Q对象时，会产生...

subprocess.call("ping -c 1 %s" % ip,shell = True,stdout = open('/dev/null','w'),stderr = subprocess.STDOUT)ping发送一个ICMP请求，并且将标准输出重定向到/dev/null,相当于丢弃，并且将标准错误输出重新定向到标准输出。这条语句返回其实就是ping值，就是pyt...

pip3 install virtualenvvirtualenv env1 --no-site-packages# 启动虚拟化activate# 关闭虚拟化deactivate转载于:https://www.cnblogs.com/ttyypjt/p/11102084.html

1.安装pip3 isntall flask-sqlalchemy2.实例化一个sqlalchemy对象# __init__.pyfrom flask import Flaskfrom flask_session import Sessionfrom flask_sqlalchemy import SQLAlchemydb = SQLAlc...

vim使用快捷键1、行首命令行模式：yy复制一行，nyy复制n行命令行模式：p粘贴一行或多行命令行模式：dd删除一行跳转行首：home行未：end命令行模式：GG 跳转到文档首行gg 跳转到文档末行awk语句awk -F "," '{print $1}'awk '{print $0} file' #打印所有列awk '{print $1}' file #打印第一列aw...

1、安装编码工具sublime text3（下载地址，软件管家网盘）2、安装完成后，下载sublime text3中与python相关的插件：package control进入package control 官网，找到installation--sublime text3，复制如下代码然后打开sublime text3界面，按下ctrl+（esc下面的波浪键），下方出现命...

一.前言在介绍Java SE 8中新的日期时间库前，先了解下Java 8之前的日期时间工具的诟病。在Java SE 8前，日期时间工具库在java.util包中，包括：java.util.Date：表示日期和时间java.util.Calendar以及其实现子类：表示各种日历系统，常用的是格林威治日历java.util.GregorianCalendarjava....

问题解决办法如下：必须把下面两行注释放在/etc/init.d/redis文件靠前的注释中：# chkconfig: 2345 90 10# description: Redis is a persistent key-value database 上面的注释的意思是，redis服务必须在运行级2，3，4，5下被启...

redis主从集群搭建redis简单主从结构如上图所示，主从结构的redis由主节点负责读写操作，从节点负责读操作，这里做搭建介绍，具体工作原理不分析。下载安装redis压缩包解压压缩包，进入redis-5.0文件夹，运行命令./make install安装redis安装完成进入redis-5.0/src文件夹，执行./redis-serv...

omcat默认配置的最大请求数是150，也就是说同时支持150个并发，当然了，也可以将其改大。当某个应用拥有250个以上并发的时候，应考虑应用服务器的集群。具体能承载多少并发，需要看硬件的配置，CPU越多性能越高，分配给JVM的内存越多性能也就越高，但也会加重GC的负担。操作系统对于进程中的线程数有一定的限制：Windows每个进程中的线程数不...

vim /etc/init.d/redisc将下方脚本写入redisc文件中#!/bin/sh# chkconfig: 2345 80 90## Simple Redis init.d script conceived to work on Linux systems# as it does use of the /proc filesystem....

本文档是Redis集群的一般介绍，没有涉及复杂难懂的分布式概念的赘述，只是提供了从用户角度来如何搭建测试以及使用的方法，如果你打算使用并深入了解Redis集群，推荐阅读完本章节后,仔细阅读Redis 集群规范一章。本教程试图提供最终用户一个简单的关于集群和一致性特征的描述请注意，本教程使用于Redis3.0（包括3.0）以上版本如果你计划部署集群，那么我们建议你从阅读这个...

Redis 集群的目标Redis 集群是 Redis 的一个分布式实现，主要是为了实现以下这些目标（按在设计中的重要性排序）：在1000个节点的时候仍能表现得很好并且可扩展性（scalability）是线性的。没有合并操作，这样在 Redis 的数据模型中最典型的大数据值中也能有很好的表现。写入安全（Write safety）：那些与大多数节点相连的客户端所做的写入操...

1.redis-cli使用时各参数的含义和使用方法xubo@xubo:~/7000$ redis-cli --helpredis-cli 3.0.3Usage: redis-cli [OPTIONS] [cmd [arg [arg ...]]] -h <hostname> Server hostname (default: 127.0.0...

概述redis-trib.rb是redis官方推出的管理redis集群的工具，集成在redis的源码src目录下，是基于redis提供的集群命令封装成简单、便捷、实用的操作工具。redis-trib.rb是redis作者用ruby完成的。为了看懂redis-trib.rb，我特意花了一个星期学习了ruby，也被ruby的简洁、明了所吸引。ruby是门非常灵活的语言，redis-tri...

什么是主从复制持久化保证了即使 redis 服务重启也会丢失数据，因为 redis 服务重启后会将硬盘上持久化的数据恢复到内存中，但是当 redis 服务器的硬盘损坏了可能会导致数据丢失，如果通过 redis 的主从复制机制就可以避免这种单点故障，如下图：说明：主 redis 中的数据有两个副本（replication）即从 redis1 和从 redis2...

本专栏与Redis相关的文章Redis Sentinel机制与用法（一）Redis Sentinel机制与用法（二）Jedis的JedisSentinelPool源代码分析Jedis的Sharded源代码分析Redis 主从 Replication 的配置详解Redis SORT命令JedisCommand接口说明本文参考翻译自《Redis Sentinel Documentat...

Redis 安装下载地址：https://redis.io/downloadtar xzf redis-5.0.3.tar.gzcd redis-5.0.3make启动脚本src/redis-server主从复制方案从的配置文件修改#replicaof <masterip> <masterport&g...

相关命令BZPOPMAXBZPOPMINZADDZCARDZCOUNTZINCRBYZINTERSTOREZLEXCOUNTZPOPMAXZPOPMINZRANGEZRANGEBYLEXZRANGEBYSCOREZRANKZREMZREMRANGEBYLEXZREMRANGEBYRANKZREMRANGEBYSC...

相关命令HDELHEXISTSHGETHGETALLHINCRBYHINCRBYFLOATHKEYSHLENHMGETHMSETHSCANHSETHSETNXHSTRLENHVALS转载于:https://www.cnblogs.com/powerwu/articles/11533432.html...

相关命令BLPOPBRPOPBRPOPLPUSHLINDEXLINSERTLLENLPOPLPUSHLPUSHXLRANGELREMLSETLTRIMRPOPRPOPLPUSHRPUSHRPUSHX转载于:https://www.cnblogs.com/powerwu/articles/11528745...

1.什么是redis?　　　Redis 是一个基于内存的高性能key-value数据库。2.Reids的特点　　　　　Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每秒可以处理超过 10万次读写操作，是...

相关命令APPENDBITCOUNTBITFIELDBITOPBITPOSDECRDECRBYGETGETBITGETRANGEGETSETINCRINCRBYINCRBYFLOATMGETMSETMSETNXPSETEXSETSETBITSETEXSETNXSETRANGESTRLEN...

目录一、Debug开篇二、基本用法&快捷键三、变量查看四、计算表达式五、智能步入六、断点条件设置七、多线程调试八、回退断点九、中断Debug十、附：JRebel激活　　Debug用来追踪代码的运行流程，通常在程序运行过程中出现异常，启用Debug模式可以分析定位异常发生的位置，以及在运行过程中参数的变化。通...

根据http://www.cleey.com/blog/single/id/808.html整理1. String常用命令：get、set、incr、decr、mget等应用场景：String是最常用的数据类型，普通的key/value都可以归为此类，value其实不仅是String，也可以是数字。比如想知道什么时候封锁一个IP地址(访问超过几...

redis集群搭建在开始redis集群搭建之前，我们先简单回顾一下redis单机版的搭建过程下载redis压缩包，然后解压压缩文件；进入到解压缩后的redis文件目录（此时可以看到Makefile文件），编译redis源文件；把编译好的redis源文件安装到/usr/local/redis目录下，如果/local目录下没有redis目录，会自动新建redis目录；...

一、不指定redis连接池#系统默认连接池yml配置文件：spring: redis: cluster: nodes: - 192.168.1.236:7001 - 192.168.1.236:7002 - 192.168.1.236:7003 - 192.168.1.244...

分区是将你的数据分发到不同redis实例上的一个过程，每个redis实例只是你所有key的一个子集。文档第一部分将介绍分区概念，第二部分介绍分区的另外一种可选方案。为什么分区非常有用Redis分区主要有两个目的:分区可以让Redis管理更大的内存，Redis将可以使用所有机器的内存。如果没有分区，你最多只能使用一台机器的内存。分区使Redis的计算能力通过简单地增加计...

MULTI、EXEC、DISCARD和WATCH是 Redis 事务相关的命令。事务可以一次执行多个命令， 并且带有以下两个重要的保证：事务是一个单独的隔离操作：事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断。事务是一个原子操作：事务中的命令要么全部被执行，要么全部都不执行。EXEC...

redis的事务处理众所周知，事务是指“一个完整的动作，要么全部执行，要么什么也没有做”。在聊redis事务处理之前，要先和大家介绍四个redis指令，即MULTI、EXEC、DISCARD、WATCH。这四个指令构成了redis事务处理的基础。1.MULTI用来组装一个事务；2.EXEC用来执行一个事务；3.DISCARD用来取消一个事务；4.WATCH用来监视一些key，...

@Autowired RedisTemplate<String,String> redisTemplate; redisTemplate.execute(new SessionCallback<Object>(){ @Override public <K,...

1.Maven引用 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> <...

#redis.conf# Redis configuration file example.# ./redis-server /path/to/redis.conf################################## INCLUDES ####################################这在你有标准配置模板但是每个redis服务器又需要个性设置的时...

1.简单说明centos7系统中有不同类型的程序，一类是操作系统的服务程序，另一类是第三方程序，而redis就是第三方程序，每次关机后开机都要手工重新启动，很麻烦，那么如何把redis设置为开机自启动，以下将通过新建脚本的方式实现redis开机自启动。2.具体步骤(1)在etc目录下新建redis文件夹，把redis源码文件中redis.conf配置文件复制到/etc/redis/目...

阅读目录v准备工作v命令行操作发布订阅v项目中操作发布订阅v源码地址v博客前言SUBSCRIBE, UNSUBSCRIBE 和 PUBLISH 实现了 发布/订阅消息范例，发送者 (publishers) 不用编程就可以向特定的接受者发送消息 (subscribers). Rather, 发布的消息进入通道，不需要知道有没有订阅者. 订阅者...

1.Linux安装redis2.redis持久化3.redis配置4.SpringBoot整合Redis发布订阅5.redis事务5.1.redis事务介绍5.2.redisTemplate的事务处理方法watch multi exec的使用6.redis分区6.1redis分区简介转载于:https://www.cnblogs.com/powerw...

Redis 提供了不同级别的持久化方式:RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储.AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以redis协议追加保存每次写的操作到文件末尾.Redis还能对AOF文件进行后台重写,使得AOF文件的体积不至于过大.如果你只希望你的数据在服务器运行的时候存在,你...

Linux安装redis操作系统是Centos71。下载压缩包2。解压3。编译4。启动redis5。设置redis.conf和防火墙端口开放，外网可以访问1.下载压缩包下载地址：http://redis.io/download，下载最新文档版本。$ cd /usr/local/$ wget http://download.redis.io...

这篇文章主要为大家详细介绍了CentOS7防火墙开放端口的快速方法，感兴趣的小伙伴们可以参考一下!一、CentOS 7快速开放端口：CentOS升级到7之后，发现无法使用iptables控制Linuxs的端口，baidu之后发现Centos 7使用firewalld代替了原来的iptables。下面记录如何使用firewalld开放Linux端口：开启端口[root@c...

1.Linux系统通过firewall限制或开放IP及端口转载于:https://www.cnblogs.com/powerwu/articles/11473943.html

1、Java端1.1、引入SpringBoot的WebSocket包，Maven配置：<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-websocket</artifactI...

一、组件生命周期的执行次数是什么样子的？？？只执行一次： constructor、componentWillMount、componentDidMount执行多次：render 、子组件的componentWillReceiveProps、componentWillUpdate、componentDidUpdate有条件的执行：componentWillUnmou...

修改CentOS默认yum源为国内yum镜像源1、首先备份系统自带yum源配置文件/etc/yum.repos.d/CentOS-Base.repo1[root@localhost~]#mv/etc/yum.repos.d/CentOS-Base.repo/etc/yum.repos.d/CentOS-Base.repo.backup...

Just to note that nginx has now support for Websockets on the release 1.3.13. Example of use:location /websocket/ { proxy_pass ​http://backend_host; proxy_http_version 1.1; p...

概述本文内容主要关于spring-redis关于redis的key设计redis的基本数据结构介绍redis与springboot的整合sringboot中的redistemplate的使用之前看了很多博客，大都都只是粗略的介绍，这里想要记录的全面一些，也算是一个学习的过程首发于我的个人博客:janti的个人博客关于spring-redissp...

有个字段是text类型，竟然67kb的内容都保存不了，说是 Data too long查看了一下，原来是这样的：TINYTEXT256 bytesTEXT65,535 bytes~64kbMEDIUMTEXT16,777,215 bytes~16MBLONGTEXT4,294,967,295 ...

什么是WebSocket?WebSocket协议是基于TCP的一种新的网络协议。它实现了浏览器与服务器全双工(full-duplex)通信——允许服务器主动发送信息给客户端。为什么需要 WebSocket？初次接触 WebSocket 的人，都会问同样的问题：我们已经有了 HTTP 协议，为什么还需要另一个协议？它能带来什么好处？答案很简单，因为 HTTP 协议有一个缺陷：通...

提示Permission denied解决的办法：$ sudo chmod -R 777 某一目录其中-R 是指级联应用到目录里的所有子目录和文件777 是所有用户都拥有最高权限转载于:https://www.cnblogs.com/powerwu/articles/11419966.html...

网上关于SQL优化的教程很多，但是比较杂乱。近日有空整理了一下，写出来跟大家分享一下，其中有错误和不足的地方，还请大家纠正以及补充 这篇文章我花费了大量的时间查找资料、修改希望大家阅读之后，感觉好的话推荐给更多的人，让更多的人看到、纠正以及补充。 要正确的优化SQL，我们需要快速定位能性的瓶颈点，也就是说快速找到我们SQL主要的开销在哪里？而大多数情况...

rpm -aq| netstat -lnp|grep 80 80是端口tcp 0 0 0.0.0.0:8080 0.0.0.0:* LISTEN 15698/java tcp 0 0 0.0.0.0:8081 0.0.0.0:* ...

1.master服务器上安装mysql，正常安装mysql参考2.slave服务器上安装mysql，正常安装mysql参考3.配置3.1master服务器配置cnf文件vim /etc/my.cnf加入配置[mysqld]log-bin = master-binlog-bin-index = master-bin.indexserver...

一、QPS/TPSQPS：Queries Per Second意思是“每秒查询率”，是一台服务器每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。TPS：是TransactionsPerSecond的缩写，也就是事务数/秒。它是软件测试结果的测量单位。一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程。客户机在发送请求时开始计时，收到服...

前几天在测试主从服务器Mysql同步时遇到了从数据库显示Slave_IO_Running：Connecting； Slave_SQL_Running：Yes的问题。下面列举几种可能的错误原因：1.网络不通2.账户密码错误3.防火墙4.mysql配置文件问题5.连接服务器时语法6.主服务器mysql权限我的服务器ip：主服务器ubuntu：192.168.16.105从服务器u...

MySQL 赋予用户权限命令的简单格式可概括为：grant权限on数据库对象to用户一、grant 普通数据用户，查询、插入、更新、删除 数据库中所有表数据的权利。grantselectontestdb.*tocommon_user@'%'grantinsertontestdb.*tocommon_user@'%'grantupda...

进入slave服务器，运行：mysql> show slave status\G.......Relay_Log_File: localhost-relay-bin.000535Relay_Log_Pos: 21795072Relay_Master_Log_File: localhost-b...

碰到这个问题的时候，是在安装Zookeeper集群的时候，碰到如下问题java.net.UnknownHostException: XXXX Name or service not knownjava.net.Inet6AddressImpl.lookupAllHostAddr(Native Method)............这里猜想到是主机的地址没有配对，网上给了...

前言通过 Python 爬取十万博文之后，最重要的是要让互联网用户访问到，那么如何做呢？选型从后台框架、前端模板、数据库连接池、缓存、代理服务、限流等组件多个维度选型。后台框架 SpringBoot2+、JPA前端框架 Vue模块框架 Thymeleaf数据库连接池 HikariCP缓存 Redis限流 Guava代理服务 Nginx文章编...

修改配置文件vim /etc/my.cnf[mysqld]skip-grant-tables重新启动mysqldservice mysqld restart修改root密码:mysql> update mysql.user set authentication_string=password('123') where ...

HTTP 请求的头信息里面，Referer是一个常见字段，提供访问来源的信息。很多开发者知道这个字段，但是说不清它的具体细节。本文详细介绍该字段。一、Referer 的含义现实生活中，购买服务或加入会员的时候，往往要求提供信息："你从哪里知道了我们？"这叫做引荐人（referrer），谁引荐了你？对于公司来说，这是很有用的信息。互联网也是一样，你不会无缘无故访问...

前言在博客系统中，为了提升响应速度，加入了 Redis 缓存，把文章主键 ID 作为 key 值去缓存查询，如果不存在对应的 value，就去数据库中查找 。这个时候，如果请求的并发量很大，就会对后端的数据库服务造成很大的压力。造成原因业务自身代码或数据出现问题恶意攻击、爬虫造成大量空的命中，会对数据库造成很大压力案例分析由于文章的地址是这样子的：ht...

分布式系统（distributed system）正变得越来越重要，大型网站几乎都是分布式的。分布式系统的最大难点，就是各个节点的状态如何同步。CAP 定理是这方面的基本定理，也是理解分布式系统的起点。本文介绍该定理。它其实很好懂，而且是显而易见的。下面的内容主要参考了 Michael Whittaker 的文章。一、分布式系统的三个指标1998年，加州大学的计算机科...

Ⅰ、认识半同步我们目前MySQL默认的复制模式是异步复制，主不关心从的数据到哪里了，主宕了，做切换，如果从落后太多，就会导致丢失的数据太多从5.5版本开始，MySQL引入了半同步复制简单理解：一个事务提交时，日志至少要保证有一个从接收到，那么它的提交才能继续到5.7版本，在原来半同步的基础上又出了一种半同步，叫无损复制,所以目前有两种半同步模式如下：1.1 sem...

介绍：Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库，并提供多种语言的 API的非关系型数据库。传统数据库遵循 ACID 规则。而 Nosql（Not Only SQL 的缩写，是对不同于传统的关系型数据库的数据库管理系统的统称） 一般为分布式而分布式一般遵循 CAP 定理。Github...

一、MySQL复制概述 ⑴、MySQL数据的复制的基本介绍 目前MySQL数据库已经占去数据库市场上很大的份额，其一是由于MySQL数据的开源性和高性能，当然还有重要的一条就是免费~不过不知道还能免费多久，不容乐观的未来，但是我们还是要能熟练掌握MySQL数据的架构和安全备份等功能，毕竟现在它还算是开源界的老大吧！ MySQL数据库支持同步复制、单向、异步复制，在...

一、静态页面静态页面，是指互联网架构中，几乎不变的页面(或者变化频率很低)，例如：首页等html页面js/css等样式文件jpg/apk等资源文件静态页面，有与之匹配的技术架构来加速，例如：CDNnginxsquid/varnish二、动态页面动态页面，是指互联网架构中，不同...

DB主从一致性的几种解决方法起源现在基本所有的程序中都会用到数据库，而数据库其实就是对所有业务逻辑处理结果的保存，所以不论在什么情况下数据的丢失都不被允许的，最坏的情况也要最小化数据的丢失程度，所以一般情况下，数据源都会至少配有两个节点，一个业务处理使用的节点，一个甚至多个从节点，这些从节点就是我们常说的冷备，业务处理节点（主节点）和备份节点一定的时间间隔内进行数据同步，从而来保...

前言：经过一天半的折腾，终于把 mysql 5.7.17 版本安装上了 centos 7 系统上，把能参考的博客几乎都看了一遍，终于发现这些细节问题，然而翻了无数的文章，基本上都没有提到这些，所以小生尽量把这些细节写下来，一方面是供初学者们参考，另一方面也是对自己花这么长时间的摸索的一个总结，如有不足之处欢迎各路高手指正。一、安装前的检查　　1.1 检查 linux 系统版本...

linux如何查看mysql是否启动linux下有很多服务，今天就写一下如何查看服务是否启动，以mysql为例子使用命令 # service mysqld status 或者 # service mysql status 命令来查看mysql 的启动状态如果是 mysqld is stopped 那就说明mysql服务是停止状态，如果是 mysqld is r...

前言在开发高并发系统时有三把利器用来保护系统：缓存、降级和限流缓存 缓存的目的是提升系统访问速度和增大系统处理容量降级 降级是当服务出现问题或者影响到核心流程时，需要暂时屏蔽掉，待高峰或者问题解决后再打开限流 限流的目的是通过对并发访问/请求进行限速，或者对一个时间窗口内的请求进行限速来保护系统，一旦达到限制速率则可以拒绝服务、排队或等待、降级等处理常用的...

安装：yuminstall firewalld1、firewalld的基本使用启动： systemctl start firewalld查看状态： systemctl status firewalld禁用，禁止开机启动： systemctl disable firewalld停止运行： systemctl stop firewalld2.配置...

目录命令示例yum 常用命令:命令centos7 修改yum源为阿里源首先是到yum源设置文件夹里1. 查看yum源信息: yum repolist2. 安装base reop源 cd /etc/yum.repos.d3. 接着备份旧的配置文件 sudo mv CentOS-Base.repo CentOS-Ba...

在redis-5中redis-trib.rb的功能被集成到了redis-cli中，大大简化了redis的集群部署，加快了进群部署的速度，也方便后期维护与扩容。以下简要介绍一下redis-cli在集群中的操作：环境：Ubuntu 18.04.2 LTSredis版本：redis-5.0.5集群架构：3master+3slave（后期添加1master+1slave）创建...

安装步骤：1.下载rediswgethttp://download.redis.io/releases/redis-4.0.8.tar.gz2.解压tar -zxvf redis-4.0.8.tar.gz3.安装cd redis-4.0.8make (执行make，出现错误时，进行如下操作）因为Redis是C实现的，需要gcc来进...

redis提供了5中数据结构，理解每种数据结构的特点对于redis开发运维非常重要。一、字符串字符串类型是redis最基础的数据结构，首先键是字符串类型，而且其他几种结构都是在字符串类型基础上构建的，所以字符串类型能为其他四种数据结构的学习尊定基础。字符串类型实际上可以是字符串（简单的字符串、复杂的字符串（xml、json）、数字（整数、浮点数）、二进制（图片、音频、视频）），但...

相关命令SADDSCARDSDIFFSDIFFSTORESINTERSINTERSTORESISMEMBERSMEMBERSSMOVESPOPSRANDMEMBERSREMSSCANSUNIONSUNIONSTORE转载于:https://www.cnblogs.com/powerwu/articles/115...

JSON Web Token（缩写 JWT）是目前最流行的跨域认证解决方案，本文介绍它的原理和用法。一、跨域认证的问题互联网服务离不开用户认证。一般流程是下面这样。1、用户向服务器发送用户名和密码。2、服务器验证通过后，在当前对话（session）里面保存相关数据，比如用户角色、登录时间等等。3、服务器向用户返回一个 session_id，写入用户的 Cook...

一、Redis事务Redis 提供的事务机制与传统的数据库事务有些不同，传统数据库事务必须维护以下特性：原子性(Atomicity)， 一致性(Consistency)，隔离性(Isolation)，持久性(Durability)，简称ACID。Redis支持简单的事务，将执行命令放入队列缓存，程序中有异常，执行discard回滚，其实只是取消队列命令的执行。但执行exec时，已...

1 符合支撑树规则2 3 符合单一路径规则4 5 随机难度100%6 7 用时158.4秒8 9 耗电0.004度转载于:https://www.cnblogs.com/Dream-doing/p/11276631.html...

数据结构​ 数据结构，一种程序设计优化的方法论。不仅考虑到存储的数据，同时也考虑到彼此之间的关系与运算，目的就是加快程序的执行速度、减少内存占用的空间。​ 使用计算机解决问题，必须以计算机所能接受的模式来确认问题，并且要选用适当的算法来处理数据，这就是数据结构讨论的重点。简单来说，数据结构就是对数据和算法的研究。数据的特性按照计算机中所存储和使用的对象，可以将数据分为两大类：1...

容器端口映射通过一条命令，运行一个python web容器。docker run -d -P trainging/webapp python app.py -d 后台运行参数 -P 随机端口映射，宿主机的一个随机端口：映射到容器内暴露的端口 trainging/webapp 运行的镜像名 python app.py 运行容器内的一个app.py脚本文件...

docker是什么？​docker是linux容器的一种封装，提供简单易用的容器使用接口，是最流行的linux容器解决方案。docker的接口相当简单，用户可以方便地创建和销毁容器。docker将应用程序与程序的依赖，打包在一个文件里面，运行这个文件就会生成一个虚拟容器。程序运行在虚拟容器里面，如同在真实物理机上运行一样，可以解决环境配置的难题。​linux容器不是模拟一个完整的操作...

远程连接管理Linux实践（centos）连接小知识IP地址：访问连接服务器，需要通过服务器的IP地址来实现，服务器的IP地址就相当于服务器的具体地址。一计算机都会有一个唯一的32位的IP地址，8位为一组，比如192.168.1.10。端口：IP地址代表一台主机，但是主机上会有很多功能，因此，一台主机上各种不同的服务功能否是通过端口来表示的，比如，用于远程连接的服务端口默认就是2...

HTTP协议简介​ 超文本传输协议（Hyper Text Transfer Protocol, HTTP）是一种用于分布式、协作式和超媒体信息系统的应用层协议。HTTP是万维网的数据通信的基础，HTTP有很多应用，但是最著名的是用于web浏览器和web服务器之间的双工通信。​ HTTP的标准制定由万维网协会（World Wide Web Consortium, W3C）和互联网工程任...

新增docker镜像​ docker是把应用程序和器依赖打包在image文件里面，只有通过这个镜像文件才能生成docker容器。一个image文件可以生成多个容器实例。# 下载hello-world镜像docker pull hello-world# 运行hello-world镜像，产生容器实例# 运行一个镜像，如果这个镜像不存在，自动下载docker run hello-...

凡路团队在本次中国大学生计算机设计大赛中斩获的许多奖项，这次我所采访的是做出国家一等奖——‘’远方旅人”的刘鑫学长，一下是我们的对话：问：首先是鑫酱你觉得这次获奖的原因。答： 肯定是团队的优势呐，毕竟这个项目其实是做了很久的一个项目。其实远方旅人是做了三个版本。第一个版本是周久迦学长（游戏部开创人）和周普凡（15级的学长，负责建模）做的毕业设计。第二个版本是欧阳浩学...

题目描述我们要求找出具有下列性质数的个数(包含输入的自然数nnn):先输入一个自然数nnn(n≤1000n \le 1000n≤1000),然后对此自然数按照如下方法进行处理:不作任何处理;在它的左边加上一个自然数,但该自然数不能超过原数的一半;加上数后,继续按此规则进行处理,直到不能再加自然数为止.输入格式111个...

　　目前市面上的BI工具都在提及敏捷BI解决方案。敏捷BI解决方案所提供的自动化技术支持主要是从数据源取数到BI前端工具展现。这样的敏捷BI解决方案在企业数据量不是很庞大的情况下，还是很好的支撑运行。PowerBI可以支持大量的数据处理，但是对于硬件设备的要求也是非常高的。但是数据量变得越来越庞大就会导致BI报表出现运行缓慢，大屏展现出现数据延迟等等现象。　　如果项目较小例如上图...

　　数据质量一直是数据仓库领域一个比较令人头疼的问题，因为数据仓库上层对接很多业务系统，业务系统的脏数据，业务系统变更，都会直接影响数据仓库的数据质量。因此数据仓库的数据质量建设是一些公司的重点工作。　　一、数据质量　　数据质量的高低代表了该数据满足数据消费者期望的程度，这种程度基于他们对数据的使用预期。数据质量必须是可测量的，把测量的结果转化为可以理解的和可重复的数字，使我们能...

元数据（Meta Data），主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。一般会通过元数据资料库（Metadata Repository）来统一地存储和管理元数据，其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。元数据是数据仓库管理系统的重要组成部分，元数据管理是企业级数据仓库中的关键组件，贯穿了数据仓...

上周因为在处理很多数据源集成的事情一直没有更新系列文章，在这周后开始规律更新。在维度建模中我们已经了解数据仓库中的维度建模方法以及基本要素，在这篇文章中我们将学习了解数据仓库的ETL过程以及实用的ETL工具。 一、什么是ETL？ 构建数据仓库的核心是建模，在数据仓库的构建中，ETL贯穿于项目始终，它是整个数据仓库的生命线。从数据源中抽取数据，然后对...

在上一篇文章中我们简单介绍了什么是维度建模以及维度建模的基本要素，这篇文章中我们依然学习了解维度建模中的基本要素事实表和维度表的类型以及维度设计方法。首先里了解维度建模中的事实表类型，在依次介绍维度类型，一致性维度和一致性事实，维度设计方法。接下来进入正题。 一、事实表 事实表存储了从业务活动或事件提炼出来的性能度量，它主要包含维度表的外键和连...

上一篇文章我已经简单介绍了数据分析中为啥要建立数据仓库，从本周开始我们开始一起学习数据仓库。学习数据仓库，你一定会了解到两个人：数据仓库之父比尔·恩门（Bill Inmon）和数据仓库权威专家Ralph Kimball。Inmon和Kimball两种DW架构支撑了数据仓库以及商业智能近二十年的发展，其中Inmon主张自上而下的架构，不同的OLTP数据集中到面向主题、集成的、不...

最近在博客园上看到一篇文章，关于数据仓库建设相关的。以前做项目一直通过PowerQuery进行数据加工处理，再使用PowerBI Desktop进行数据分析展现，没有单独构建数据仓库的概念。通过这个文章找到中软易通官网，了解一些免费的ETL工具介绍和视频后发现原来通过ETL工具建立数据仓库确实可以比较简单。（注意：这里的简单是相对的，主要还是我们需要有数据仓库相关的知识尤...

总线架构是数据仓库建设的总体规划，从整体视角描述了解决方案的维度模型，描述了各个子系统的功能以及关系，描述数据从源系统到决策系统的数据流程，提供建立企业数据仓库系统的增量式方法。业务需求回答了要做什么，总线架构就是回答怎么做的问题。一、整体解决方案架构： 数据仓库的核心功能从源系统抽取数据，通过清洗、转换、标准化，将数据加载到BI平台，进而满足业务用户的数据...

五 Kafka producer 拦截器(interceptor)　　5.1 拦截器原理　　　　Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的，主要用于实现 clients 端的定制化控制逻辑。　　　　对于 producer 而言，interceptor 使得用户在消息发送前以及 producer 回调逻辑前有机会　　　　　　对...

一、使用graph做好友推荐import org.apache.spark.graphx.{Edge, Graph, VertexId}import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}//求共同好友object CommendFriend {...

四 Kafka API 实战 　　4.1 环境准备 　　　　　　　　1）在 eclipse 中创建一个 java 工程　　　　　　　　2）在工程的根目录创建一个 lib 文件夹　　　　　　　　3）解压 kafka 安装包，将安装包 libs 目录下的 jar 包拷贝到工程的 lib 目录下，并 build path。　　　　　　　　 4）启动 zk 和 kafka...

三 Kafka 工作流程分析3.1 Kafka 生产过程(Producer)分析 3.1.1 写入方式　　producer 采用推（push）模式将消息发布到 broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障 kafka 吞吐率）。...

二 Kafka 集群部署2.1 环境准备 2.1.1 集群规划 node01　　 node02 　　node03zk 　　　　 zk 　　　　zkkafka　　 kafka 　　　kafka2.1.2 jar 包下载 http://kafka.apache.org/downloads.html2.1.3 虚拟机准备1）准备 3 ...