2013年11月_「已注销」

转载 java破解ip屏蔽+多线程同步拨号-【多线程数据采集之五】

java破解ip屏蔽+多线程同步-【多线程数据采集之五】。到今天为止，算是讲完了一部分了。多线程数据采集系列整个过程就是：抓取，分析，破解屏蔽，多线程，多线程数据同步以及拨号同步。上面几回，讲到了。单线程破解ip屏蔽。比较容易。只要拨号就行了。多线程抓取数据也比较容易，但是引入多线程之后。拨号就容易出现问题。多线程抓取的

2013-11-29 15:12:07 771

转载 java多线程采集+线程同步-【多线程数据采集之四】

前些日子讲解了java数据抓取，今天就讲解最核心的。 java多线程数据抓取。 java多线程采集+数据同步+线程同步【多线程数据采集之四】主要讲解多线程抓取，多线程同步，多线程启动，控制等操作。文章栏目列表：http://blog.csdn.net/column/details/threadgrab.html先讲解第一步，线程类。

2013-11-29 15:11:08 1267

转载 java+Jsoup 正则过滤html网页标签【多线程数据采集之二】

java采集数据，获取了 html整个文本之后。该考虑的是如何过滤掉html标签，得到自己所需要的重要数据了。实现方法有多种办法，第一：用正则，第二：用第三方jar包，其实本质也是封装了正则表达式今天就以 Jsoup 第三方jar包来讲解。jsoup详细资料：http://blog.csdn.net/yjflinchong/article/details/7

2013-11-29 15:09:53 1142

转载 java采集网页数据方法【多线程数据采集之一】

第一步抓取数据。java采集网页数据。获取html文本节点有几种办法。转载文章请注明来处：http://blog.csdn.net/column/details/threadgrab.html第一种：采用HttpURLConnection[java] view plaincopyp

2013-11-29 15:08:54 834

转载 java抓取数据+破解屏蔽ip访问【多线程数据采集之三】

java抓取数据+破解屏蔽ip访问今天就讲解一下，怎么破解服务器屏蔽ip的请求。现在大多网站采取 ip访问次数达到一定次数就屏蔽ip的功能。那么要破解服务器的屏蔽。就只有改变ip，或者代理ip。如果用代理，哪里去找那么多ip呢。用adsl 获取动态ip不是很简单吗。转载注明出处：http://blog.csdn.net/column/deta

2013-11-29 15:06:17 891

转载 spring整合testng和junit

整合junit进行测试：JUnit对Spring有天然的支持，只需添加两条Annotation就可以启动Spring Context了，示例代码如下：@ContextConfiguration("/META-INF/spring/integration/inbound-gateway-config.xml")@RunWith(SpringJUnit4ClassRunner.class

2013-11-28 17:02:57 3288

转载 testng参数化测试

软件测试往往需要测试大量的数据集，这样才能保证软件的稳定性和鲁棒性。JUnit没有提供方便传递测试参数的机制，所以，针对每个测试数据集，都需要单独写代码进行测试。这样浪费很多时间和精力重复写测试代码，它们只是参数不一样，测试逻辑完全一样。同时，测试代码和测试数据没有分离，为今后的维护埋下隐患。TestNG在参数化测试方面，比JUnit有较大的优势。提供了两种传递参数的方式。testng.x

2013-11-28 17:00:38 1612

默认情况下，eclipse中右键debug，当运行到设置的断点时会自动跳到debug模式下。但由于我的eclipse环境，从开始一直用到现在，中间包括装、卸各种插件，更换版本，从英文界面导到中文界面又换回来，可以说现在的环境已经臃肿混乱到自己都搞不清楚的地步了。不知哪一天设置了，把debug模式关掉了，之后一直到现在，运行debug时，还是在java视图(perspective)下，无法自动跳转到

2013-11-28 15:59:02 6728

转载 jsoup使用

org.jsoup jsoup 1.7.31、获取远程html页面的方法：Document doc = Jsoup.connect("http://example.com") .data("query", "Java") .userAgent("Mozilla") .cookie("auth", "token") .timeout(3000) .post(

2013-11-28 09:08:02 6218

转载 Eclipse is running in a JRE, but a JDK is required 解决方法

安装Maven后每次启动出现警告信息:Eclipse is running in a JRE, but a JDK is requiredSome Maven plugins may not work when importing projects or updating source folders.分两步解决问题:1. 检查Eclipse正在使用的JRE

2013-11-28 08:41:15 709

原创 ubuntu下mysql的启动/停止/重启，以及远程连接设置

启动：sudo /etc/init.d/mysql start 停止：sudo /etc/init.d/mysql stop 重启：sudo /etc/init.d/mysql restart设置远程访问权限步骤：1、grant all PRIVILEGES on *.* to admin@’%’ identified by ‘123456′; 棕色标

2013-11-20 14:06:31 966

原创关闭mysql自动提交------关于mysql自动提交引发的惨剧

今天2013年11月20日11点30左右，在操作mysql数据库时，发生了一个悲剧，执行了一个更新语句，但时条件没写全，结果在执行了几秒之后才发现这个问题，将一些不该改变的记录值改变了。昨天1天的工作全部白费了，还好同事和项目组长仁慈，没有责怪【在这偷偷感谢哈】，不然真要悲剧了。于是狂找mysql中关于commit和rollback的内容，终于让我找到了，禁用自动提交的方法，手动提交和回滚的方法。

2013-11-20 13:56:37 7178 1

转载解决Div自适应高度的方法

div高度自适应是个比较麻烦的问题，在朋友artery那里看到这个文章，帮我解决了不少问题，摘录下来:Div即父容器不根据内容自适应高度，我们看下面的代码：　　当Content内容多时，即使main设置了高度100%或auto。在不同浏览器下还是不能完好的自动伸展。内容的高度比较高了，但容器main的高度还是不能撑开。　　我们可以通过三种方法来解决这个问题。　

2013-11-20 10:31:04 1070

转载关于div高度/宽度 100%

正像你所知道的那样，设置DIV大小的有两个属性width和height，以前在学习DIV每次给DIV设置100%宽度或高度时都很迷惑，不明确这个100%的宽度（高度）到底有多宽有多高？这个100%是从哪里得到的从哪里继承的？今天我们的话题就是有关div高度100%的问题！其实，要弄懂div宽度|width100%、div高度|height100%到底是怎么实现的，只需弄懂一个简单的问题就可以了

2013-11-20 09:54:49 1702

转载 css漂浮(全浏览器兼容写法)

跨浏览器固定定位 *{margin:0;padding:0;} html{_overflow:hidden;} body{_height:100%; _overflow-y:auto;} #box{width:100px; height:100px;background-color:black;position:fixed;_position:absolute; to

2013-11-20 09:52:47 778

转载使用命令远程链接mysql数据库

mysql -udbUsername -pdbPassword -h ip -P porte.gmysql -uroot -proot -h 192.168.1.126 -P 3306

2013-11-19 09:05:01 829

转载理解MySQL——索引与优化

写在前面：索引对查询的速度有着至关重要的影响，理解索引也是进行数据库性能调优的起点。考虑如下情况，假设数据库中一个表有10^6条记录，DBMS的页面大小为4K，并存储100条记录。如果没有索引，查询将对整个表进行扫描，最坏的情况下，如果所有数据页都不在内存，需要读取10^4个页面，如果这10^4个页面在磁盘上随机分布，需要进行10^4次I/O，假设磁盘每次I/O时间为10ms(忽略数据传输时间)，

2013-11-14 16:04:20 681

转载 es优化

ES索引优化篇主要从两个方面解决问题，一是索引数据过程；二是检索过程。（本文主要介绍）索引数据过程我在上面几篇文章中有提到怎么创建索引和导入数据，但是大家可能会遇到索引数据比较慢的过程。其实明白索引的原理就可以有针对性的进行优化。ES索引的过程到相对Lucene的索引过程多了分布式数据的扩展，而这ES主要是用tranlog进行各节点之间的数据平衡。所以从上我可以通过索引的setting

2013-11-14 15:54:40 2347

原创 Linux查看端口占用情况，以及已启动的进程

查看端口占用：netstat -anp | grep 端口号查找已启动的进程ps -aux | grep 进程名销毁进程kill 进程id

2013-11-14 15:30:26 1129

转载查看Linux磁盘使用情况

linux查看硬盘的使用情况：df -fl显示格式：文件系统容量已用可用已用% 挂载点/dev/sda2 455G 29G 403G 7% /none 4.0K 0 4.0K 0% /sys/fs/cgroupudev 1.9G 4.0K 1.9G 1

2013-11-14 15:26:52 852

原创 es注意事项----持续更新

服务器版本与客户端版本不一致，会导致如下问题： 1、如果是导数据，会导致在导入了n久（通常是2-3小时的时候）会出现连接超时等No Node的异常【使用的是QueryScroll方式】 2、如果使用setFrom,setSize的方式分页遍历索引，那么速度是非常慢的，在6千万的数据下大概比QueryScroll方式慢4倍，并且随着遍历的深入这个问题会越来越严重。

2013-11-14 15:22:10 930

转载在网上看到的关于es的querystring的问题，值得留意

问题今天，我们的业务给我报了一个问题，说商品"视丽花样系列美瞳"此品搜索不到，于是，我问业务要了搜索关键词和商品名称一样，发觉还真是搜索不到，遂排查问题，先给大家报告一下我的环境【环境】es的版本:0.90.2中文分词:ansj操作系统:CentOS6.5【测试过程】首先，我测试了分词接口，看分词器是否正常工作：_a

2013-11-14 14:53:23 5930

转载 es各类SearchType的意思

元素含义QUERY_THEN_FETCH查询是针对所有的块执行的，但返回的是足够的信息，而不是文档内容（Document）。结果会被排序和分级，基于此，只有相关的块的文档对象会被返回。由于被取到的仅仅是这些，故而返回的hit的大小正好等于指定的size。这对于有许多块的index来说是很便利的（返回结果不会有重复的，因为块被分组了）。QUERY_AND_FETCH

2013-11-13 16:55:48 4135 1

转载 es检索时，出现特殊字符的处理方式

//es检索时，出现特殊字符而没有做正确的处理，那么es将无法识别这条检索语句，则会抛出异常，此时就的对检索语句进行转义:String title = "title+-&&||!(){}[]^\"~*?:\\";title = QueryParser.escape(title);// 主要就是这一句把特殊字符都转义,那么lucene就可以识别searchRequestBuilder.setQ

2013-11-13 16:46:28 25558 1

转载使用js省略长字符串

function suolve(str,len){ var sub_length = len ; var temp1 = str.replace(/[^\x00-\xff]/g,"**");//精髓 var temp2 = temp1.substring(0,sub_length); //找出有多少个* var x_length = temp2.split(

2013-11-08 15:06:41 1207

转载 spring静态方法中使用bean对象

方法：在类中创建一个静态的bean对象，然后使用init方式初始化这个bean，这样就可以在静态方法中调用了 @Service("idg") public class IDGenerator { @Autowired private IIDGeneratorDAO dao; private stati

2013-11-08 11:25:35 5920

转载 struts2获取4属性范围对象值

第一种方式: 第二种方式: 第三种方式: 第四种方式: 第五种方式：${requestScope.user1.realName } || ${requestScope.user1['realName'] } 第六种：第一种方式: 第二种方式: 第三种方式：${sessionScope.user1.realName } || ${sessionSco

2013-11-08 11:21:50 1048

原创 struts2使用标签调用静态方法

1、在struts.xml文件中开启该功能 2、在页面中使用struts2标签获取page/request/session/appliaction属性范围对象第一种方式: 第二种方式: 第三种方式: 第四种方式: 第五种方式：${requestScope.user1.realName } || ${req

2013-11-08 11:20:23 2314

原创 js输出字符串

document.write( "欢迎光临！" );

2013-11-06 10:38:51 1329

转载正则表达式入门

目录跳过目录本文目标如何使用本教程正则表达式到底是什么东西？入门测试正则表达式元字符字符转义重复字符类分枝条件反义分组后向引用零宽断言负向零宽断言注释贪婪与懒惰处理选项平衡组/递归匹配还有些什么东西没提到联系作者网上的资源及本文参考文献更新纪录本文目标30分钟内让你明白正则表达式是什么，并对它有一些基本的了解，让你可以在自己的程序或网页里使用它。如何使用本教程最重要的是

2013-11-06 10:36:55 619

原创 Spring初始化集合

小学中学大学正常 178

2013-11-05 16:27:48 1149

pan-zy的专栏