2016年01月_zou song

转载基于java社会化海量数据采集爬虫框架搭建

随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。我们来看一下作为人是怎么获取网页数据的呢？1、打开浏览器，输入网址url访问页面内容。2、复制页面内容的标题、作者、内容。3、存

2016-01-31 19:43:18 2329

转载 Linuxshell脚本基础学习

详细介绍Linuxshell脚本基础学习（一）Linux shell脚本基础学习我们将分几讲来慢慢细说，希望能对想学习Linux shell脚本编程的初学者有一个明确的帮助，水平得到提高。Linux shell脚本基础学习这里我们先来第一讲，介绍shell的语法基础，开头、注释、变量和环境变量，向大家做一个基础的介绍，虽然不涉及具体东西，但是打好基础是以后学习轻松地前提。1. Linu

2016-01-31 11:22:53 460

转载 session application cookie

方法信息量大小保存时间应用范围保存位置Application任意大小整个应用程序的生命期所有用户服务器端Session小量,简单的数据用户活动时间+一段延迟时间(一般为20分钟)单个用户服务器端C

2016-01-31 11:20:16 298

转载 Java中正则表达式使用方法详解

如果你曾经用过Perl或任何其他内建正则表达式支持的语言，你一定知道用正则表达式处理文本和匹配模式是多么简单。如果你不熟悉这个术语，那么“正则表达式”（RegularExpression）就是一个字符构成的串，它定义了一个用来搜索匹配字符串的模式。许多语言，包括Perl、PHP、Python、JavaScript和JScript，都支持用正则表达式处理文本，一些文本编辑器用正则表达式实

2016-01-31 11:18:11 286

转载网站架构设计方案

网站架构设计方案目录1 设计思路.... 32 系统结构.... 33 网络规划及性能计算.... 33.1 网络架构... 33.2 网络架构说明... 43.2.1 采用双防火墙双交换机做网络冗余，保障平台服务... 43.2.2

2016-01-31 11:13:43 5521

转载 Java内存分配原理

深入Java核心 Java内存分配原理精讲(1)Java内存分配与管理是Java的核心技术之一，之前我们曾介绍过Java的内存管理与内存泄露以及Java垃圾回收方面的知识，今天我们再次深入Java核心，详细介绍一下Java在内存分配方面的知识。一般Java在内存分配时会涉及到以下区域：◆寄存器：我们在程序中无法控制◆栈：存放基本类型的数据和对象的引用，但对象本身不存放在栈中，而是存

2016-01-31 11:10:55 367

转载 oracle 常用命令

窗体顶端 oracle 常用命令 1.增加主键 alter table TABLE_NAME add constraint KEY_NAME primary key(TABLE_COLUMN);2.增加外键 alter table TABLE_NAME addconstraint FK_NAME foreign key (TABLE_COLUMN) refe

2016-01-31 11:07:39 546

转载排序算法

数据结构排序算法总结I考研复习到数据结构排序这章了，这章的内容比较经典，都是一些很好的算法，将来很可能会用得到，总结一下，加深一下印象。文章篇幅有点大，请点击查看更多，下面是跳转链接：一、插入排序 1）直接插入排序 2）折半插入排序 3）希尔排序二、交换排序

2016-01-31 11:04:47 440

转载数据仓库概述

数据仓库是一个环境，而不是一件产品，提供用户用于决策支持的当前和历史数据，这些数据在传统的操作型数据库中很难或不能得到。数据仓库技术是为了有效的把操作形数据集成到统一的环境中以提供决策型数据访问，的各种技术和模块的总称。所做的一切都是为了让用户更快更方便查询所需要的信息，提供决策支持。数据仓库的组成数据仓库数据库：是整个数据仓库环境的核心，是数据存放的地方和提供对数据检索的支

2016-01-31 10:23:57 443

转载 2.1.7 理解语句块、嵌套语句块和标签的作用范围

2.1.7 理解语句块、嵌套语句块和标签的作用范围当在PL/SQL 语句块中使用变量时，必须理解变量的作用范围。这样才能理解和掌握如何以及何时可以使用变量。也有助于调试自己所编写的程序。PL/SQL 语句块的开始部分包含声明内容。在此可以声明语句块中会使用的变量。1. 变量的作用范围在声明部分所定义结构体的作用范围或者生存期就是当前语句块。语句块也提供所声明和抛出的异常的作

2016-01-27 21:37:27 624

转载数据库数据处理性能提升技术

转自：http://blog.csdn.net/dingding_12345/article/details/50474398一、数据处理性能存在的问题1、企业的数据都集中存储在数据库中，从海量的数据中查找和定位数据是非常耗时的； 2、数据集中存储后，所有用户都要来访问数据库，当很多用户同时访问数据库时，数据库服务器的负载就非常中。二、数据处理过程

2016-01-27 21:11:40 374

转载 WebSocket 初探

什么是WebSocket？看过html5的同学都知道，WebSocket protocol 是HTML5一种新的协议。它是实现了浏览器与服务器全双工通信(full-duplex)。HTML5定义了WebSocket协议，能更好的节省服务器资源和带宽并达到实时通讯。现在我们来探讨一下html5的WebSocket概念HTML5作为下一代WEB标准，拥有许多引人

2016-01-25 22:09:27 423

转载分析分布式服务框架

转自：http://www.blogjava.net/BlueDavy/archive/2008/01/24/177533.html技术是为需求而服务的，分布式服务框架也同样如此，它不是凭空诞生的，也是因为有这样的需求才会有分布式服务框架这么样的东西诞生，在这篇blog中来详细的分析分布式服务框架诞生的原因(其实也是需要用分布式服务框架的应用场景，这里隐含的意思就是并不是什么应用都

2016-01-24 20:11:39 446

转载采访 Lua 发明人的一篇文章

http://blog.codingnow.com/2010/06/masterminds_of_programming_7_lua.html?hmsr=toutiao.io&《Masterminds of Programming: Conversations with the Creators of Major Programming Languages》是本相当不错的书

2016-01-23 11:15:07 452

转载理性选择SQL和NoSQL解决方案

【IT168 评论】我最近看到一篇报道，在某些条件下，PostgreSQL在很多重要地方胜过MongoDB，这让我想起了关于数据存储选择方面的、不同选项背后的理论，特别是在SQL和NoSQL解决方案之间的天真比较——不幸的是，这一幕经常发生。　　上面的评测由EnterpriseDB创建，EnterpriseDB是开发PostgreSQL的商业公司(因此测评可能会有一点儿偏见……

2016-01-21 22:59:15 554

转载 NoSQL

【编者按】NoSQL在2010年风生水起，大大小小的Web站点在追求高性能高可靠性方面，不由自主都选择了NoSQL技术作为优先考虑的方面。今年伊始，InfoQ中文站有幸邀请到凤凰网的孙立先生，为大家分享他之于NoSQL方面的经验和体会。非常荣幸能受邀在InfoQ开辟这样一个关于NoSQL的专栏，InfoQ是我非常尊重的一家技术媒体，同时我也希望借助InfoQ，在国内推动NoSQL的发展，希

2016-01-21 22:57:32 328

转载阿里服务互联网金融的关系数据库——OceanBase

摘要：4月2日，蚂蚁金服方面宣布，蚂蚁金服及阿里巴巴自主研发的通用关系数据库OceanBase已经开始支撑淘宝、天猫和聚划算的所有日常交易。编者按：时至今日，“Big data”（大数据）时代的来临已经毋庸置疑，尤其是在电信、金融等行业，几乎已经到了“数据就是业务本身”的地步。这种趋势已经让很多相信数据之力量的企业做出改变。为了应对大数据的冲击，淘宝将以前的Oracle、小型机、高端存

2016-01-20 22:49:31 1037

转载 TiDB：支持MySQL协议的分布式数据库解决方案

【编者按】TiDB 是国内 PingCAP 团队开发的一个分布式 SQL 数据库。其灵感来自于 Google 的 F1，TiDB 支持包括传统 RDBMS 和 NoSQL 的特性。在国内ITOM 管理平台OneAPM 举办的技术公开课中，TiDB的高级工程师刘奇从HBase特性、TiDB的优势和系统架构等方面进行了详细阐述。以下为演讲整理：HBase简介众所周知，在SQL方面处于顶

2016-01-20 22:47:13 837

转载 Lua脚本语言简明入门教程

这几天系统地学习了一下Lua这个脚本语言，Lua脚本是一个很轻量级的脚本，也是号称性能最高的脚本，用在很多需要性能的地方，比如：游戏脚本，nginx，wireshark的脚本，当你把他的源码下下来编译后，你会发现解释器居然不到200k，这是多么地变态啊（/bin/sh都要1M，MacOS平台），而且能和C语言非常好的互动。我很好奇得浏览了一下Lua解释器的源码，这可能是我看过最干净的C的源码了。

2016-01-20 22:19:14 455

转载沈剑：58同城数据库架构最佳实践

数据库的基本概念基本概念这一块，主要是让大家就一些数据库方面的概念达成一致。首先是“单库”，最初的时候数据库都是这么玩的，几乎所有的业务都有这样的一个库。接下来是“分片”，数据库的分片是解决数据量大的问题。如果数据量非常大，就要做水平切分，有一些数据库支持auto sharding。之前58同城也用过两年mongoDB，后来发现auto sharding功能

2016-01-20 19:12:41 447

转载服务器端架构，前端服务器与客户端随机负载平衡

Sergey Ignatchenko针对大规模多人网络游戏所撰写的开发与部署一书章章精彩，不过里面的内容远不仅适用于游戏。下面是这本书的最近一章：“关于服务器端架构、前端服务器与客户端随机负载平衡”问题在前端服务器输入[Enter Juliet] Hamlet: Thou art as sweet as the sum of the sum of Romeo and

2016-01-20 19:11:29 320

转载【使用JSOUP实现网络爬虫】解析一个body片断

问题假如你有一个HTML片断 (比如. 一个 div 包含一对 p 标签; 一个不完整的HTML文档) 想对它进行解析。这个HTML片断可以是用户提交的一条评论或在一个CMS页面中编辑body部分。办法使用Jsoup.parseBodyFragment(String html)方法.[java] view plain copy print?String html = "

2016-01-19 21:32:06 276

转载微服务与SOA的实践应用对比

微服务是什么？微服务是一种架构设计模式。在微服务架构中，业务逻辑被拆分成一系列小而松散耦合的分布式组件，共同构成了较大的应用。每个组件都被称为微服务，而每个微服务都在整体架构中执行着单独的任务，或负责单独的功能。每个微服务可能会被一个或多个其他微服务调用，以执行较大应用需要完成的具体任务；系统还为任务执行——比如搜索或显示图片任务，或者其他可能需要多次执行的任务提供了统一的解决处理方式，并

2016-01-19 20:10:51 287

转载 java解析html

HTMLParser具有小巧，快速的优点，缺点是相关文档比较少（英文的也少），很多功能需要自己摸索。对于初学者还是要费一些功夫的，而一旦上手以后，会发现HTMLParser的结构设计很巧妙，非常实用，基本你的各种需求都可以满足。这里我根据自己这几个月来的经验，写了一点入门的东西，希望能对新学习HTMLParser的朋友们有所帮助。（不过当年高考本人语文只比及格高一分，所以文法方面的问题

2016-01-19 16:31:29 447

转载 Web服务器处理HTTP压缩之gzip、deflate压缩

摘要现如今在处理http请求的时候，由于请求的资源较多，如果不启用压缩的话，那么页面请求的流量将会非常大。启用gzip压缩，在一定程度上会大大的提高页面性能。http gzip deflate web压缩性能目录[-]一、什么是gzip 二、什么是deflate三、web服务器处理http压缩的过程四、gzip与deflate区别

2016-01-19 14:14:20 443

转载 JAVA网络编程

网络编程网络编程对于很多的初学者来说，都是很向往的一种编程技能，但是很多的初学者却因为很长一段时间无法进入网络编程的大门而放弃了对于该部分技术的学习。在学习网络编程以前，很多初学者可能觉得网络编程是比较复杂的系统工程，需要了解很多和网络相关的基础知识，其实这些都不是很必需的。首先来问一个问题：你会打手机吗？很多人可能说肯定会啊，不就是按按电话

2016-01-18 19:28:10 475

转载 Cookie 与session的产生过程

Cookie 与session的产生过程　　我们都知道HTTP协议本身是无状态的，客户只需要简单的向服务器来发送请求下载某些文件，客户端向服务器端发送的每次请求都是独立的。对于当前的web应用，HTTP的“无状态”，导致许多应用都不得不花费大量的精力来记录用户的操作步骤。就像我们上面介绍的第一种情况，银行职员要花

2016-01-18 11:00:26 11324 4

转载不要随便设置随机种子

随机数在太多的地方使用了，比如加密、混淆数据等，我们使用随机数是期望获得一个唯一的、不可仿造的数字，以避免产生相同的业务数据造成混乱。在Java项目中通常是通过Math.random方法和Random类来获得随机数的，我们来看一段代码：public class Client { public static void main(String[] args) {

2016-01-17 22:40:12 560

转载 int 和integer的区别

如果面试官问Integer与int的区别：估计大多数人只会说道两点，Ingeter是int的包装类，int的初值为0，Ingeter的初值为null。但是如果面试官再问一下Integer i = 1;int ii = 1; i==ii为true还是为false？估计就有一部分人答不出来了，如果再问一下其他的，估计更多的人会头脑一片混乱。所以我对它们进行了总结，希望对大家有帮助。　　首先看代

2016-01-17 10:37:40 489

转载中间语言和虚拟机漫谈

http://geek.csdn.net/news/detail/50928文 / 徐宥编程语言的发展历史，总的来说，是一个从抽象机器操作逐步进化为抽象人的思维的过程。机器操作和人的思维如一枚硬币的两面，而语言编译器就像是个双面胶，将这两面粘在一起，保证编程语言源程序和机器代码在行为上等价。当然，人本身并不是一个完美的编译器，不能无错的将思维表达为高级语言程序，这种偏差，即Bu

2016-01-14 19:16:57 332

转载初见memcached

转：http://my249645546.iteye.com/blog/1420061一、概念Memcached是danga.com（运营LiveJournal的技术团队）开发的一套分布式内存对象缓存系统，用于在动态系统中减少数据库负载，提升性能。二、适用场合1. 分布式应用。由于memcached本身基于分布式的系统，所以尤其适合大型的分布式系统。2.

2016-01-13 21:14:45 260

转载即使被拖库，也可以保证密码不泄露

即使被拖库，也可以保证密码不泄露BY · 2016年01月10日 · 2623 WORDS · ~6MIN READING TIME | IMPROVE ON 在前一篇文章《设计安全的账号系统的正确姿势》中，主要提出了一些设计的方法和思路，并没有给出一个更加具体的，可以实施的安全加密方案。经过我仔细的思考并了解了目前一些方案后，我设计了一个自认为还比较安全的安全

2016-01-12 20:06:22 487

转载如何根据性能选择内存NoSQL数据库？

导读：NoSQL数据库系统发展迅速，常见的有Redis，Tarantool ，CouchBase等等。那么对于用户来说，该如何选择呢？接下来我们将会结合性能测试工具Yahoo! Cloud Serving Benchmark(YCSB)来对几款常用内存NoSQL进行性能对比，以找出最优方案。本文主要内容是测试了不同NoSQL数据库在测试工具YCSB中的表现。我们选取了3款流行的内存(in-

2016-01-12 20:04:12 408

转载数据库性能优化

转自：http://blog.csdn.net/u011225629/article/details/50492403一、问题的提出在应用系统开发初期，由于开发数据库数据比较少，对于查询SQL语句，复杂视图的的编写等体会不出SQL语句各种写法的性能优劣，但是如果将应用系统提交实际应用后，随着数据库中数据的增加，系统的响应速度就成为目前系统需要解决的最主要

2016-01-12 20:00:50 436

转载如何设计安全的用户登录功能

转自：http://qq405371160.iteye.com/blog/1743237用户登录功能是Web应用系统具备的最基本的功能，关系到用户数据和应用系统数据的安全，设计一个安全的用户登录功能，涉及到以下几个方面的内容。 (一) 老生常谈——口令 1. 口令长度与复杂度限制限制用户输入一些非常容易被破解的口令，比如qwert、asdfg、123456、password之类的

2016-01-09 18:32:35 1482

转载如何设计一个安全的账户系统

转自：http://www.ithao123.cn/content-10758990.html[摘要：比来有个假造训练项目，触及到体系平安保证的计划，因而对平安保证那块做了一些更深刻的懂得。发明了良多风趣的器械，坦荡了眼界。中央查了一些材料，因而我盘算从新整顿，] 最近有个虚拟练习项目，涉及到系统安全保障的设计，于是对安全保障这块做了一些更深入的了解。发现了很多有

2016-01-09 18:29:42 482

转载 web前端图片极限优化策略

随着web的发展，网站资源的流量也变得越来越大。据统计，60%的网站流量均来自网站图片，可见对图片合理优化可以大幅影响网站流量，减小带宽消耗和服务器压力。极限前端 web优化图片优化 web图片格式目录[-]一、现有web图片格式二、前端的图片优化方案三、图片压缩四、小结随着web的发展，网站资源的流量也变得越来越大。据统计，6

2016-01-07 21:13:39 729

转载序列化和反序列化

本文出自：http://kb.cnblogs.com/page/515982/摘要　　序列化和反序列化几乎是工程师们每天都要面对的事情，但是要精确掌握这两个概念并不容易：一方面，它们往往作为框架的一部分出现而湮没在框架之中；另一方面，它们会以其他更容易理解的概念出现，例如加密、持久化。然而，序列化和反序列化的选型却是系统设计或重构一个重要的环节，在分布式、大数据量系统设计里面更为显

2016-01-05 20:08:34 218

转载常见网络传输协议

网络协议应用层DHCP · DNS · FTP · Gopher · HTTP· IMAP4 · IRC · NNTP · XMPP ·POP3 · SIP · SMTP · SNMP · SSH ·TELNET · RPC · RTCP · RTP ·RTSP· SDP · SOAP · GTP · STUN · NTP· SSDP · 更多

2016-01-01 19:34:31 492

转载全站 HTTPS 来了

最近大家在使用百度、谷歌或淘宝的时候，是不是注意浏览器左上角已经全部出现了一把绿色锁，这把锁表明该网站已经使用了 HTTPS 进行保护。仔细观察，会发现这些网站已经全站使用 HTTPS。同时，iOS 9 系统默认把所有的 http 请求都改为 HTTPS 请求。随着互联网的发展，现代互联网正在逐渐进入全站 HTTPS 时代。因此有开发同学会问：全站 HTTPS 能够带来怎样的优势？

2016-01-01 16:20:04 672

计算机组成原理复习样卷

小游戏源代码

Spring sf：form等标签使用不了（JSP页面声明了引用）