2017年09月_董尔垒

转载爬虫工具的信息挖掘

来自 GitChat 作者：肖志华原文：信息收集中的搜索引擎 Hacking 更多IT技术分享，尽在微信公众号：GitChat 技术杂谈搜索引擎是一个爬虫机器人，不停的在爬世界所有网站，有可能在爬的过程中，就把你重要的文档给爬出来了，尽管你没有对外公布该文档。所以在做渗透测试的时候，就可以通过搜索引擎对测试目标做一个搜索。现在，对测试目标做一个搜索引擎hacking的行为，已经成为了

2017-09-05 17:00:45 7322 1

Session基于Cookie技术,Session保存在服务器端(一般会设置有效期),SessionID保存在客户端.Session里面保存!!若干个!!!”键-值”对,可以通过 void setAttribute(java.lang.String name, java.lang.Object value) 来修改/添加 HttpSession session = request.getSessio

2017-09-28 23:09:09 329

转载 Java过滤器与SpringMVC拦截器之间的关系与区别

过滤器和拦截器的区别：———–　　①拦截器是基于java的反射机制的，而过滤器是基于函数回调。　　②拦截器不依赖与servlet容器，过滤器依赖与servlet容器。　　③拦截器只能对action请求起作用，而过滤器则可以对几乎所有的请求起作用。　　④拦截器可以访问action上下文、值栈里的对象，而过滤器不能访问。　　⑤在action的生命周期中，拦截器可以多次被调用，而过滤器只能在容

2017-09-25 11:04:20 256

转载数据库分区分表以及读写分离

数据库结构的优化有多种方法，主要的有两种：一是利用存储过程来代替常用的SQL查询语句，减少sql语句解析编译的过程。另一种是使用数据库管理系统中的分区表方法进。使用存储过程的优化方法有执行速度快的优点，但是其本身不利于调试、没有办法使用数据库缓存机制等缺点，所以在系统安全性和性能要求更高的情况下，建议使用分区表的方法。但要注意：并不是只要数据量够多就需要通过数据库分区表来提高查询

2017-09-23 14:28:17 399

转载 Python网络爬虫反爬破解策略实战

我们经常会写一些网络爬虫，想必大家都会有一个感受，写爬虫虽然不难，但是反爬处理却很难，因为现在大部分的网站都有自己的反爬机制，所以我们要爬取这些数据会比较难。但是，每一种反爬机制其实我们都会有相应的解决方案，作为爬虫方的我们，重点需要处理这些反爬机制，所以，今天我们在这里就为大家分析常见的反爬策略以及破解的手段。1. 知己知彼-常见的反爬策略有哪些？首先，既然要破解这些常见的反爬策略，就首先需要知

2017-09-21 17:42:39 5670 2

转载字符编码的前世今生

前言很多程序员对字符编码不太理解，虽然他们大概知道 ASCII、UTF8、GBK、Unicode 等术语概念，但在写代码过程中还是会遇到各种奇怪的编码问题，在 Java 中最常见的是乱码，而 Python 开发中遇到最多的是编码错误，如：UnicodeDecodeError、UnicodeEncodeError，几乎每个 Python 开发者都会碰到这种问题，对此都是一筹莫展，这篇文章从字符编码的起

2017-09-21 17:25:59 380

原创 Try-Catch你真的很懂吗？

小技巧-Try Catch

2017-09-20 17:12:02 347

转载数据挖掘之----使用 Python & Flask 实现 RESTful Web API

Flask 优点:———-Written in Python (that can be an advantage);Simple to use;Flexible;Multiple good deployment options;RESTful request dispatchingRESOURCES一个响应 /articles 和 /articles/:id的 API 服务：from f

2017-09-18 16:51:11 1022

原创如何将java工程转变为web工程

有时候将web工程导入eclipse中，会变为一般的java工程，那样就无法部署至web服务器中。以下方法可以将java工程转化为web工程：1、打开Eclipse里你要转换的工程的磁盘路径，在根路径里找到.project文件并打开！找到<natures>标签。如果是java工程里面只有<nature>org.eclipse.wst.common.modulecore.ModuleCoreNatu

2017-09-18 15:42:08 545

转载 EL表达式大全

EL表达式 1、EL简介1）语法结构 ${expression}2）[]与.运算符 EL 提供.和[]两种运算符来存取数据。当要存取的属性名称中包含一些特殊字符，如.或?等并非字母或数字的符号，就一定要使用 []。例如： ${user.My-Name}应当改为${user[“My-Name”] } 如果要动态取值时，就可以用[]来做，而.

2017-09-14 19:50:02 479

转载浅谈MVC架构—你到底有什么本事!!!

一、什么是MVC 1、概念 MVC全名是Model View Controller，是模型(model)－视图(view)－控制器(controller)的缩写，一种软件设计典范，用一种业务逻辑、数据、界面显示分离的方法组织代码，将业务逻辑聚集到一个部件里面，在改进和个性化定制界面及用户交互的同时，不需要重新编写业务逻辑。MVC被独特的发展起来用于映射传统的输入、处理和输出功

2017-09-14 17:14:50 529 2

转载 MVC模式到底是个什么

MVC模式到底是个什么 —恢复内容开始—前言　　第一遍写的时候笔记本直接白屏了，无奈只能恢复一点点　　本人是刚接触java不久的小白级码农，但是有着一颗想写一手漂亮代码的心。　　最近陷入了一个困境，就是发现自己仅仅只有模仿别人的代码和逻辑来写和别人实现的功能很相似的代码，如果让自己单独去开发，脑子里面简直就跟下班高

2017-09-14 16:48:51 446

转载 AI_学习入门

前言我是一名传统网页（php+ruby）和应用开发（android）转型AI相关开发的码农。在非985211高校出身的情况下，我前期自己买书学习，到现在考研上课全身心的投入智能系统的开发当中来，在算法当中理解了数据和模型，对一些基本问题的解决和现在社会上的环境风气有自己的看法，在这里不吐不快，和大家分享一下。对于人工智能的入门和基础理解我有一篇综述的博客文章，手把手的入门机器学习的”Hello Wo

2017-09-14 14:46:43 1350

转载数据挖掘:K-Means算法的原理与Python实现

数据挖掘基础:K-Means算法的原理与Python实现原理 K-Means是一种基于样本间相似度量的间接聚类方法，属于非监督学习方法。K-Means接受参数k，将n个数据对象划分为k个聚类。计算每一个数据对象的依据为对象与k个聚类的相似度（或者距离），选择相似度最高的聚类，将这个数据对象划入这个聚类。同时，也需要更新这个聚类的中心点。输入:k个聚类的中心点的位置；n个数据对

2017-09-14 10:04:57 598

转载 Centos安装完成后添加第三方源

添加第三方源Centos作为REDHAT的社区版本，本身追求稳定性。因此，官方源中自带的软件并不多，添加一些第三方的源对我们以后安装一些软件非常方便。常用的有 EPEL、ATrpms、ELRepo、Nux Dextop、RepoForge 等。根据稳定性原则，建议只添加 EPEL 源、Nux Dextop 和 ELRepo 源大型第三方源。EPEL源sudo yum install repl-rel

2017-09-14 09:16:23 4170

原创 JDBC基础

JDBCJava数据库连接，提供了一种与平台无关的用于执行SQL语句的标准javaAPI，可以方便实现多种关系型数据库的统一操作JDBC驱动分类JDBC-ODBC桥驱动ODBC是由微软提供的编程接口，JDBC也是模仿了ODBC的设计JDBC-本地驱动直接使用各个数据库生产商提供的JDBC驱动程序，因为只能应用在特定的数据库上，会丧失程序的可移植性，不过性能很高。JDBC-网络驱动将JDBC转

2017-09-11 20:09:04 459

转载 MVC观察者框架

动机argo是58同城开源出来的一个基于java的轻量级mvc框架。这个框架是其13年开源出来源代码，但接下来就没有维护了，但58内部好像还一直维护沿用wf（argo内部称呼）。但阅读这款轻量级框架源码对于我们理解mvc框架运行原理还是有很大裨益的。其代码量不是很大，这也是我读的第一个开源框架源码。同时argo跟springmvc在思想上有很多相似之处，相信读过这个源码，对以后阅读springm

2017-09-05 19:16:00 543

转载 BootStrap入门

首先，推荐网站给大家看看：http://www.runoob.com菜鸟教程Bootstrap1、Bootstrap 是一个用于快速开发 Web 应用程序和网站的前端框架。Bootstrap 是基于 HTML、CSS、JAVASCRIPT 的。您可以从 http://getbootstrap.com/ 上下载 Bootstrap 的最新版本。2、实例采用的是百度的静态资源库(http://

2017-09-05 17:28:37 730

转载 Windows中，使用DLL的优点

使用DLL的优点共享、模块化，可方便的组合，重用，升级基地址和RVA当一个PE文件装载时，其进程地址空间中的起始地址就是基地址，对于可执行文件exe，一般为0x400000，对于DLL文件一般为0x10000000。若该地址被占用，则会选用其他空闲的地址，RVA就是一个地址相对于基地址的偏移。声明可以通过_declspec(dllexport)表示该符号是从dll导出的符号，_declspec(dl

2017-09-05 16:48:06 1468

转载 Java垃圾回收器与内存分配策略

概述说起垃圾收集器（Garbage Collection,GC），大部分人都把这项技术当做Java的伴生产物。实际上GC的历史远比Java久远，1960年诞生于MIT的Lisp是第一门真正使用内存动态分配和垃圾收集技术的语言。当Lisp还在胚胎时期时，人们就在思考GC需要完成的3件事情: 那些内存需要回收？什么时候回收内存？如何回收？垃圾收集器关注那些数据区域

2017-09-01 09:26:17 250

转载 JavaScript实现H5游戏断线自动重连的技术

断线重连的需求尤其是手机上，会因为网络的不稳定或者其他原因，导致用户的socket链接断开。这个时候如果直接让玩家退出游戏，重新登录，无疑是非常影响用户体验的事情。所以根据这个需求，就有需要程序来实现断线后自动重连回去的技术，是用户能够再次快速开始游戏进行战斗。一、断线重连原理原来其实很简单，就是在断线的时候，根据用户的点击（有些时间短的就不用点击，默认是自动重连回来），程序自动识别，是要刷新重新进

2017-09-01 09:14:04 527

董尔垒的博客