2017年03月_编程圈子

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创大数据学习——数据处理工具Pig入门使用

简介Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转为一系列经过优化处理的MapReduce运算。特点专注于大量数据集分析运行在集群的计算架构上，Yahoo Pig提供了多层抽象，简化并行计算让普通用户使用，这些抽象完成自动把用户请求queries翻译成有效的并行评估计划，然后在物理集群上执行这些计划；

2017-03-29 15:47:32 6414

原创 Oracle 在windows下安装及plsql配置

下载安装 oracle 11g安装路径： c:\app\Administrator\product\11.2.0\dbhome_1 安装时要设置的密码需要记住。安装plsql 免安装版到 c:\plsql修改dbhome_1\NETWORK\ADMIN下面listener.oraLISTENER = (DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(

2017-03-27 21:21:17 3489

原创 JAVA基础——面向对象设计原则类的设计原则

面向对象设计原则本文内容主要来源《模式工程化实现及扩展》 (设计模式JAVA版）电子工业出版社单一职责原则（SRP）每个类只担任一个职责，每个类应只有一个引起它变化的原因。一个类只负责一项职责，应该仅有一个引起它变化的原则里氏替换原则（LSP）和依赖倒置原则（DIP）子类可以扩展父类的功能，但不能改变父类原有的功能 1. 子类可以实现父类的抽象方法，但不能覆盖父

2017-03-27 08:24:10 575

原创 Struts2学习3——数据绑定及获取Session

接收表单参数1. 在Action中定义表单属性<form action="login" method="post" name="form">User：<s:textfield name="username"/><br/>Password：<s:password name="password"/><br/><s:submit value="提交"/> </form> 在Action中定义

2017-03-21 08:47:48 887

原创 Struts2学习2——Struts配置

MyEclipse创建Struts2项目步骤： http://blog.csdn.net/xundh/article/details/42234325Struts2框架的主要配置文件配置文件可选位置(相对于webapp) 说明 web.xml 否 WEB-INF Web部署描述文件，包括所有必需的框架组件 struts.xml 是 /WEB-INF/

2017-03-19 21:10:42 519

原创 Struts2学习1——概述

本文学习资源：《STRUTS 2完全自习手册》概述MVCModel-View-Controller ，一种目前广泛流行的软件设计架构模式。MVC模块层关系MVC处理过程Model1传统JSP嵌套HTML代码的模式 Model2MVC模式 Strusts2结构体系Strusts2配置文件struts.xml创建Struts2应用，首先需要Struts2的核心配置文件 struts.xml，该文件用

2017-03-18 23:06:06 631

原创大数据学习——常用的数据分析法和模型

产品的基本数据指标新增：日新增、月新增活跃：如日活跃（DAU）、月活跃（MAU）等留存率：用户会在多长时间内使用产品，如：次日留存率、周留存率等传播：平均每位老用户会带来几位新用户流失率：一段时间内流失的用户，占这段时间内活跃用户数的比例地域分布使用时长分布常见的数据分析法和模型直方图（频率分布）分析将某参量的数值范围等分为若干区间，统计该参量在各个区间上出现的频率，并用矩形条的长度

2017-03-18 15:12:17 53391 3

原创 nginx try_files用法及Nginx location的一些配置

本系列学习资源主要来源于：《Tomcat权威指南第2版》中国电力出版社端口属性从8080 改为80 把8080改为80，重启Tomcat即可。将端口80的TCP传递给8080在非windows的操作系统80端口打开tomcat，需要JVM以Root用户运行。通过Linux内嵌的iptables特性，允许将80传递给8080端口。sudo iptables -t nat -L 当iptable

2017-03-18 10:16:14 10005 1

原创 Nodejs 入门4 Express试用

Express中文网址：http://www.expressjs.com.cn/安装mkdir myappcd myappnpm initnpm install express --save --save意思是加入依赖表新建程序 app.jsvar express = require('express');var app = express();app.get('/', function

2017-03-14 20:50:11 892

原创 Nodejs 入门3 第一个程序

入门程序var http = require('http');http.createServer(function (req, res) { res.writeHead(200, {'Content-Type': 'text/plain'}); res.end('Hello World\n');}).listen(1337, "127.0.0.1");console.log('S

2017-03-13 22:20:22 545

本文学习内容来自《大数据革命——理论、模式与技术创新》电子工业出版社传统的关系型数据库数据仓库在面对大数据的处理地显得越来越力不从心。在这样的背景下，NoSQL数据库应运而生。CAP理论2000年美国加州大学伯克利分析的Eric Brewer教授提出了CAP理论，即一个分布式系统不可能同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition To

2017-03-13 13:37:26 4735

原创大数据学习——Hadoop平台及相关生态系统

*2006年8月9日，谷歌首席执行官埃里克·施密特在搜索引擎大会上首次提出“云计算”（Cloud Computing）概念。 2006年之前谷歌发表了3篇经典的论文，分别介绍了谷歌的分布式文件系统GFS、分布式数据存储系统BigTable和分布式计算框架（MapReduce）。分布式文件系统GFS谷歌文件系统简称为GFS，文件大小可以达到TB级，甚至是数百TB。Hadoop的文件系统HDFS正是借

2017-03-12 18:34:30 1106

原创大数据学习——数据挖掘理论基础

本文学习来源于《数据挖掘理论与技术》（电子工业出版社）数据挖掘概述数据挖掘方法可以是基于数学理论的，也可以是非数学的；可以是演绎的，也可以是归纳的。从研究的历史看，它们是数据库、人工智能、数理统计、计算机科学以及其它方面的学者和工程技术人员，在数据挖掘的探讨性研究过程中创立的理论体系。1997年，Mannila对当时流行的数据挖掘的理论框架做出了综述。结合最新的研究成果，有下面一些重要的理论框架可以

2017-03-12 17:52:02 4257

原创 Netty权威指南第2版学习笔记11——实现WebSocket

WebSocket 入门WebSocket是HTML5开始提供的一种浏览器与服务间进行全双工通信的网络技术，WebSocket通信协议于2011年被IETF定为标准RFC6455，WebSocket API 被W3C定为标准。在WebSocket API中，浏览器和服务器只需要做一个握手的动作，然后，浏览器和服务器间就形成了一条快速通道，两者就可以直接互相传送数据了。WebSocket基于

2017-03-12 16:41:29 1170

原创 Netty权威指南第2版学习笔记10——实现HTTP服务

HttpServerimport org.apache.log4j.Logger;import io.netty.bootstrap.ServerBootstrap;import io.netty.channel.ChannelFuture; import io.netty.channel.ChannelInitializer; import io.netty.channel.Channel

2017-03-12 15:21:00 852

原创分布式服务框架学习笔记9 ActiveMQ入门3 管理、生产者/消费者模式

管理界面ActiveMQ安装以后，通过浏览器访问： http://localhost:8161/admin/ 输入账号admin 密码admin 即可打开管理界面。修改密码，打开 conf/jetty.xml文件，找到<bean id="securityConstraint" class="org.eclipse.jetty.http.security.Constraint">

2017-03-10 10:52:09 673

原创分布式服务框架学习笔记8 ActiveMQ入门使用

测试环境windows+Eclipse 下载 http://activemq.apache.org/download-archives.html下载后打开c:/tools/apache-activemq-5.9.0/bin/activemq.bat启动服务添加依赖 <dependency> <groupId>org.apache.activemq</groupId>

2017-03-10 08:35:34 753

原创分布式服务框架学习笔记7.1 Thrift入门试用

Thrift是facebook开发，08年进入apache孵化器官网地址 : https://thrift.apache.org使用过程下载配置新建Maven项目pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xs

2017-03-09 10:40:45 1514

原创 Netty权威指南第2版学习笔记9——Channel,Unsafe和 AttributeMap

Channel功能说明io.netty.channel.Channel是Netty网络操抽象类，它聚合了一组功能，包括但不限于网络的读、写，客户端发起连接，主动关闭连接，链路关闭，获取通信双方的网络地址等。它也包含了Netty框架相关的一些功能框架，包括获取该Channel的EventLoop，获取缓冲分配器ByteBufAllocator和pipeline等。Channel的工作原理Channel

2017-03-06 10:54:10 851

原创 Nginx 4层负载均衡测试

安装过程测试环境 CentOS7Nginx1.9开始支持tcp层的转发，通过stream实现的，而socket也是基于tcp通信。 stream模块默认不安装的，需要手动添加参数：–with-stream，官方下载地址：download，根据自己系统版本选择nginx1.9或以上版本。首先安装Nginxwget http://nginx.org/download/ngin...

2017-03-03 15:53:30 3894 1

原创分布式服务框架学习笔记6 Motan试用

Motan是新浪微博2015年开源的一款RPC框架。 Git地址：https://github.com/weibocom/motan功能支持通过spring配置方式集成，无需额外编写代码即可为服务提供分布式调用能力。支持集成consul、zookeeper等配置服务组件，提供集群环境的服务发现及治理能力。支持动态自定义负载均衡、跨机房流量调整等高级服务调度能力。基于高并发、高负载场景进行优

2017-03-03 12:21:32 2836

原创分布式服务框架学习笔记5 消息队列

概述消息队列一般实现了服务的发布、订阅模式，是分布式系统的重要的组件，主要解决应用耦合，异步消息，流量削峰等问题，实现高性能、高可用，可伸缩和最终一致性架构。目前在生产环境，使用较多的消息队列有 - ActiveMQ - RabbitMQ：采用Erlang开发，支持完善的AMQP协议 - ZeroMQ：C开发，重点在于效率，接口极为简单 - Kaffka：Scala开发 - Me

2017-03-02 18:49:34 1209

原创分布式服务框架学习笔记4 服务路由

透明化路由很多开源的RPC 框架调用者需要配置服务提供者的地址信息，尽管可以通过读取数据库的服务地址列表等方式避免硬编码地址信息，但是消费者依然要感知服务提供者的地址信息，这违反了透明化路由原则。基于服务注册中心的订阅发布在分布式服务框架中，服务注册中心用于存储服务提供者地址信息、服务发布相关的属性信息，消费者通过主动查询和被动通知的方式获取服务提供者的地址信息，而不需要像之前那样在代码中硬编码服务

2017-03-02 13:49:53 5624

原创分布式服务框架学习笔记3 序列化、反序列化与协议栈

暂空…

2017-03-02 13:08:33 914

原创分布式服务框架学习笔记2 常用的分布式服务框架与通信框架选择

传统垂直架构改造的核心就是要对应用进行服务化，服务化改造使用到的核心技术就是分布式服务框架。分布式服务框架演进应用从集中式走向分布式大规模系统架构的设计一般原则就是尽可能地拆分，以达到更好的独立扩展与伸缩、更灵活的部署、更好的隔离和容错、更高的开发效率。具体的拆分策略大体上可以分为横向拆分和纵向拆分。纵向拆分通过对业务进行梳理，根据业务的特性把应用拆开，不同的业务模块独立部署。横向拆分将核心的、

2017-03-02 12:36:40 1676

原创分布式服务框架学习笔记1 应用架构演进

传统垂直应用架构业界曾比较流行的有： LAMP架构：Linux+Apache+PHP(前后端分离)+MySQL(读写分离) MVC架构：Spring+Struts+iBatis/Hibernate+Tomcat在高并发、大流量的应用场景中，需要做集群，通常的组网方案是前端通过F5等负载均衡器做七层负载均衡（或者使用SLB等软负载），后端做对等集群部署。随着业务的不断发展，应用规模日趋庞大，传统垂

2017-03-02 09:25:36 3178

原创 CRC 循环冗余校验

CRC(Cyclic Redundancy Check,CRC)是一种根据网络数据包或电脑文件等数据产生简短固定位数校验码的一种散列函数，主要用来检测或校验数据传输或保存后可能出现的错误。这利用除法及余数的原理为作错误侦测。工作原理通过在要传输的K bit数据 D后添加(n-k)bit 冗余位(Frame Check Sequence,FCS)F 形成n bit的传输帧T。特别的，循

2017-03-01 18:55:56 696

转载 Spring 学习笔记6—— 注解开发

1 修改配置文件applicationContext.xml增加命名空间的和约束文件<beans ... http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-3.1.xsd2.开启Spring的注解功能<!--

2017-03-01 17:30:11 636