- 博客(24)
- 收藏
- 关注
RSS订阅原创 搭建企业级高可用HBase
1 HBase介绍HBase是一个分布式的、面向列的开源数据库，就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是...
2016-11-28 16:05:15
194
原创 HBase开发实例学习
1 开发环境在进行Hbase开发前，需要安装JDK、Hadoop和HBase，选择一款合适的开发IDE，具体安装方法就不介绍了，网上有很多参考资料，这里给出我的开发环境：操作系统：Ubuntu 14.04 LTSJava版本：jdk1.7.0_79Hadoop版本：hadoop-2.6.0-cdh5.7.1HBase版本：hbase-1.2.0-cdh5.7.1Ecips...
2016-08-12 17:42:59
248
原创 Hadoop HA
1 Hadoop HA架构详解1.1 HDFS HA背景HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。影响HDFS集群不可用主要包括以下两种情况：一是NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用；二是计划内的N...
2016-08-12 17:39:28
183
原创 Json Web Token(JWT)简介
在JavaScript前端技术大行其道的今天，我们通常只需在后台构建API提供给前端调用，并且后端仅仅设计为给前端移动App调用。用户认证是Web应用的重要组成部分，基于API的用户认证有两个最佳解决方案 —— OAuth 2.0 和JWT（JSON Web Token）。JWT的主要应用场景:身份认证在这种场景下，一旦用户完成了登陆，在接下来的每个请求中包含JWT，可以用来验证...
2016-05-18 12:52:43
232
原创 Json Web Token身份认证
用户身份认证一般有5种方式HTTP Basic authentication在发送请求时在HTTP头中加入authentication字段，将用Base64编码的用户名和密码作为值，每次发送请求的时候都要发送用户名和密码，实现比较简单。Cookies向后台发送用户名和密码，在用户名和密码通过验证后，保存返回的Cookie作为用户已经登录的凭证，每次请求时附带这个CookieSi...
2016-05-17 13:55:14
574
原创 八幅漫画理解使用JSON Web Token设计单点登录系统
用户认证八步走所谓用户认证（Authentication），就是让用户登录，并且在接下来的一段时间内让用户访问网站时可以使用其账户，而不需要再次登录的机制。小知识：可别把用户认证和用户授权（Authorization）搞混了。用户授权指的是规定并允许用户使用自己的权限，例如发布帖子、管理站点等。首先，服务器应用（下面简称“应用”）让用户通过Web表单将自己的用户名和密码发送...
2016-05-17 13:43:43
108
原创 JSON Web Token - 在Web应用间安全地传递信息
JSON Web Token（JWT）是一个非常轻巧的规范。这个规范允许我们使用JWT在用户和服务器之间传递安全可靠的信息。让我们来假想一下一个场景。在A用户关注了B用户的时候，系统发邮件给B用户，并且附有一个链接“点此关注A用户”。链接的地址可以是这样的1https://your.awesome-app.com/make-friend/?from_user=B&am...
2016-05-17 13:42:06
102
原创 有关nginx upstream的几种配置方式
nginx的upstream目前支持4种方式的分配1、轮询（默认）每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。2、weight指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的情况。 例如： upstream bakend { server 192.168.0.14 weight=10; ...
2016-05-17 13:23:40
497
原创 冉起新秀：Apache六大尚未广为人知的大数据项目
原文地址：On the Rise: Six Unsung Apache Big Data Projects世界各地无数的组织，他们使用的数据现在日益庞大而复杂，使用传统的数据处理程序已无法再进行优化分析及获得洞察。而这正是的新一代的大数据应用程序要解决的问题。近期Apache软件基金会（ASF）又将一批有趣的开源大数据项目毕业为的Apache顶级项目。这意味着，这些项目将能够得到积极...
2016-05-17 13:23:30
87
原创 RESTFUL API 安全设计指南
0x01 REST API 简介REST的全称是REpresentational State Transfer，表示表述性无状态传输，无需session，所以每次请求都得带上身份认证信息。rest是基于http协议的，也是无状态的。只是一种架构方式，所以它的安全特性都需我们自己实现，没有现成的。建议所有的请求都通过https协议发送。RESTful web services 概念的核心就是...
2016-05-16 13:35:39
110
原创 理解OAuth 2.0
目录[-]一、应用场景二、名词定义三、OAuth的思路四、运行流程五、客户端的授权模式六、授权码模式七、简化模式八、密码模式九、客户端模式十、更新令牌作者： 阮一峰日期： 2014年5月12日OAuth是一个关于授权（authorization）的开放网络标准，在全世界得到广泛应用，目前的版本是2.0版。 ...
2016-05-13 10:34:27
100
原创 nginx限制某个IP同一时间段的访问次数
目录[-]HttpLimitReqModul 限制某一段时间内同一ip访问数实例HttpLimitZoneModule 限制并发连接数实例nginx白名单设置如何设置能限制某个IP某一时间段的访问次数是一个让人头疼的问题，特别面对恶意的ddos攻击的时候。其中CC攻击（Challenge Collapsar）是DDOS（分布式拒绝服务）的一种，也是一种常...
2016-05-13 10:32:50
329
原创 RESTful API 设计指南
目录[-]RESTful API 设计指南一、协议二、域名三、版本（Versioning）四、路径（Endpoint）五、HTTP动词六、过滤信息（Filtering）七、状态码（Status Codes）八、错误处理（Error handling）九、返回结果十、Hypermedia API十一、其他RESTful...
2016-05-13 10:32:24
102
原创 每秒处理10万订单乐视集团支付架构
声明：本文为CSDN原创投稿文章，未经许可，禁止任何形式的转载。 作者：梁阳鹤，乐视网boss平台技术部架构师，主要负责乐视集团支付，乐视会员系统，商业运营平台等系统架构工作。开源数据访问层框架mango作者。 责编：钱曙光，关注架构和算法领域，寻求报道或者投稿请发邮件qianshg@csdn.net，另有「CSDN 高级架构师群」，内有诸多知名互联网公司的大牛架构师，欢迎架构师加微信qs...
2016-05-13 10:32:12
115
原创 史上最全“大数据”学习资源整理
当前，整个互联网正在从IT时代向DT时代演进，大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的技术和方法，也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。 为了帮助大家更好深入...
2016-05-13 10:26:58
943
原创 Nginx faq整理
Nginx如何替换错误来源：http://stackoverflow.com/questions/5950996/how-to-replace-nginx-errorsQ：能否用503错误（负载过高或临时不可用）来代替502错误作为应答返回？A：配置fastcgi_intercept_errors指令并将其设置为on，然后使用error_page指令：location / { ...
2016-05-12 11:07:23
125
原创 20步打造最安全的Nginx Web服务器
目录[-]一、配置SELinux二、通过分区挂载允许最少特权三、配置/etc/sysctl.conf强化Linux安全四、删除所有不需要的Nginx模块五、使用mod_security(只适合后端Apache服务器)六、安装SELinux策略以强化Nginx Web服务器七、基于Iptables防火墙的限制八、控制缓冲区溢出攻击九、控制并发连接...
2016-05-12 11:06:30
102
原创 关于Nginx的一些优化(突破十万并发)
nginx指令中的优化（配置文件）worker_processes 8;nginx进程数，建议按照cpu数目来指定，一般为它的倍数。worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000;为每个进程分配cpu，上例中将8个进程分配到8个cpu，当...
2016-05-12 11:06:03
113
原创 nginx配置ssl加密（单双向认证、部分https）
默认nginx是没有安装ssl模块的，需要编译安装nginx时加入--with-http_ssl_module选项。关于SSL/TLS原理请参考 这里，如果你只是想测试或者自签发ssl证书，参考 这里 。提示：nignx到后端服务器由于一般是内网，所以不加密。1. 全站SSL全站做ssl是最常见的一个使用场景，默认端口443，而且一般是单向认证。server ...
2016-05-12 11:02:27
224
原创 软件项目报价方法
软件项目一般包括解决方案、开发、维护、系统集成等。以下将分别介绍软件开发价格、软件（系统）维护价格、系统集成价格、系统解决方案费用的价格估算方法，以供大家参考。 1．软件开发价格估算方法 软件开发价格与工作量、商务成本、国家税收和企业利润等项有关。为了便于计算，给出一个计算公式：软件开发价格 ＝ 开发工作量 × 开发费用／人·月 1.1开发工作量 软件开...
2016-05-12 10:51:21
1846
原创 安装redis
安装ruby,rubygems # yum -y install gcc openssl-devel libyaml-devel libffi-devel readline-devel zlib-devel gdbm-devel ncurses-devel gcc-c++ automake autoconf # yum -y install ruby rubygems ...
2016-04-13 10:06:47
71
原创 全面剖析Redis Cluster原理和应用
全面剖析Redis Cluster原理和应用1.Redis Cluster总览1.1 设计原则和初衷在官方文档Cluster Spec中，作者详细介绍了Redis集群为什么要设计成现在的样子。最核心的目标有三个：性能：这是Redis赖以生存的看家本领，增加集群功能后当然不能对性能产生太大影响，所以Redis采取了P2P而非Proxy方式、异步复制、客户端重定向等设计...
2016-04-11 14:43:30
333
原创 redis简介
目录[-]1、显示最新的项目列表2、删除与过滤3、排行榜相关4、按照用户投票和时间排序5、处理过期项目6、计数7、特定时间内的特定项目8、实时分析正在发生的情况，用于数据统计与防止垃圾邮件等9、Pub/Sub10、队列11、缓存1. MySql+Memcached架构的问题 实际MySQL是适合进行海量数据存储的，通过Memca...
2016-04-11 10:52:27
94
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人