2017年03月_leoe_

12月 11月 10月 09月 07月 06月 05月 04月 03月 02月

转载爬虫解决网页ip限制的问题的八种方法

方法1.之前由于公司项目需要，采集过google地图数据，还有一些大型网站数据。经验如下：1.IP必须需要，像@alswl 说的非常正确，ADSL。如果有条件，其实可以跟机房多申请外网IP。2.在有外网IP的机器上，部署代理服务器。3.你的程序，使用轮训替换代理服务器来访问想要采集的网站。好处： - 1.程序逻辑变化小，只需要代理功能。 - 2.根据对方网站屏蔽规则不同，你只需要添

2017-03-27 15:06:24 13300 1

原创 Python学习之多进程并发爬虫

以前做过Python的爬虫，不过那只爬取贴吧内容，比较简单，只是用来刚开始练练手的。这段时间又重新看Python，看到了正则表达式，于是想对爬虫再深入的了解下，主要是对爬虫的线程以及进程学习。爬虫是io密集型，所以使用多线程会提高效率，但是懂点Python的人都知道，gil的存在导致Python的多线程有点坑，这里简单的介绍下gil。 Gil 是全局解释器锁，为了数据的安全。而在Pytho

2017-03-25 19:04:13 10587

最近学习到了Struts2中的文件的上传与下载，因为会经常使用，所以记录下来，加深理解。文件的上传：在Struts中默认使用的是common-fileupload的文件上传框架，所在使用文件的上传功能之前要先在web项目中导入commons-io-2.2.jar 和 commons-fileupload-1.3.1.jar，这两个文件可以从Struts2的lib文件复制到web项目的web-inf

2017-03-23 10:41:13 1543

原创在linux上安装配置tomcat（Ubuntu）

最近因为要在linux上做一些javaweb上的练习，所以需要安装基本的tomcat，使用环境是Ubuntu14.3的图形化界面安装的，因为使用文字界面直接在linux上进行编写有些麻烦，以后再去接触。一、安装配置jdk1、首先是要去安装和配置jdk，所以先登录官网下载jdk 网址为：http://www.oracle.com/technetwork/java/javase/downlo

2017-03-18 15:45:06 1763

原创在一个jsp页面使用include动态包含servlet

今天在使用jsp页面包含一个servlet出现了错误，因为以前都是包含的另一个jsp页面，所以一直以为是servlet中的错误，瞎忙乎了半天，所以不能小看了书上的细节部分。解决办法：1、假设你的servlet的url路径为 /ActionServlet2、则在jsp页面中的包含语句应该为：'>3、还要修改ActionServlet中的get 或者是 post

2017-03-18 10:16:37 4854 2

原创 Call to master/*:9000 failed on connection exception: java.net.ConnectException: Conne 错误解决

在用eclipse hadoop 出现这个错误一般都是由于网络连接问题一般造成错误的原因可能为：1、hadoop未全部启动，hadoop正常启动包括以下几个服务，如果服务没有全部启动。可以通过jps 查看日志。根据日志来启动为启动的服务2、伪分布式模式安装时，在配置文件是使用了localhost 或者是127.0.0.1 此时应该改为真实的ID 其中需要修改的文件包括了 co

2017-03-17 20:08:57 7107

原创 EL表达式不起作用的解决方法

JSP页面上的EL表达式无效，在解析时都被当作了普通字符串处理。经过排查发现，原来在Servlet2.4之前的版本，默认EL表达式是被忽略的。如果是别的版本下，将用到EL 表达式的 JSP页面的开头添加如下一句代码即可。 EL才有效。但是自2.4版本以后，EL就被设置为默认有效了，因此页面上也不需要再单独标示。首先确定用的Servlet / JSP的版本。查看web.xml的开头部分，如

2017-03-14 13:47:36 3720 1

原创关于腾讯云服务器外网不能访问的问题

买腾讯云的服务器已经又快一年了，以前总是把自己做的javaweb项目放上去访问做自己的博客但是在年初的时候重装了一次服务器上的系统，之后通过外网就访问不进去，自己在网上各种的配置tomcat 和系统文件开放了服务器的80防火墙但是最终还是没有任何的屌用搁置了一段时间直到今天又想了起来去到腾讯云的论坛逛了一圈发现了一篇文章点开一看

2017-03-10 21:32:19 25106 1

原创关于Struts2使用Action的动态方法调用

今天在使用Action的动态方法调用的时候出现了问题在定义完表单的action属性后 login!regist但是并没有发生跳转而是出现了通过调试发现是没有跳转到action中最后在网上找到了错误的原因这句话，貌似在struts2.3版本还是什么版本以后动态方法调用的话默认设成FALSE 了，必须手动设置成TRUE才有效，可以试一下。也就是这句

2017-03-02 09:49:38 1019

搜狗五百万用户搜索日志记录

这是网上找的一个搜狗搜索的日志记录，总共有五百万条用户的搜索信息，可以为练习大数据的数据源，这是网上找的一个搜狗搜索的日志记录，总共有五百万条用户的搜索信息，可以为练习大数据的数据源，这是网上找的一个搜狗搜索的日志记录，总共有五百万条用户的搜索信息，可以为练习大数据的数据源，

2018-05-22

hbase-0.96.0.tar.gz

这是HBASEhbase-0.96.0.tar.gz ，上传到服务器端之后使用tar -zxfv hbase-0.96.0.tar.gz 进行解压缩使用这是HBASEhbase-0.96.0.tar.gz ，上传到服务器端之后使用tar -zxfv hbase-0.96.0.tar.gz 进行解压缩使用这是HBASEhbase-0.96.0.tar.gz ，上传到服务器端之后使用tar -zxfv hbase-0.96.0.tar.gz 进行解压缩使用

2018-03-17

hadoop-2.2.0.tar.gz + zookeeper3.4.5

这是2.6版本的hadoop 和 3.4.5的zookeeper，下载之后上传到服务器端，使用 tar -zxfv hadoop-2.6.5.tar.gz 解压缩后可直接使用

2018-03-17

jdk-7u67-linux-x64.tar.gz

这是在linux中配置jdk所需要到的jdk1.7,发送到服务器端后使用 tar -zxfv jdk-7u67-linux-x64.tar.gz 解压缩

2018-03-17

openstack多节点搭建

这是自己参考文档所搭建的openstack多节点这里分享给初学者这是自己参考文档所搭建的openstack多节点这里分享给初学者这是自己参考文档所搭建的openstack多节点这里分享给初学者这是自己参考文档所搭建的openstack多节点这里分享给初学者这是自己参考文档所搭建的openstack多节点这里分享给初学者

2017-11-24

openstack 搭建官方文档

这是官方文档，英文都是可以看到懂的，多节点的搭建很多细节其中都有说明，比看其他博客要可靠点这是官方文档，英文都是可以看到懂的，多节点的搭建很多细节其中都有说明，比看其他博客要可靠点这是官方文档，英文都是可以看到懂的，多节点的搭建很多细节其中都有说明，比看其他博客要可靠点

2017-11-17

详细地址信息，地理位置

这是一份详细的地址信息，有编码，可以自己整理为需要的结果

2017-07-20

chromedriver

使用Selenium需要的使用Selenium需要的使用Selenium需要的使用Selenium需要的

2017-07-19

springmvc-注册页面发送手机验证码

通过使用网易云平台的短信发送验证码，在后台进行对比后达到手机号注册的效果通过使用网易云平台的短信发送验证码，在后台进行对比后达到手机号注册的效果

2017-07-11

spring 学习笔记

里面主要是一些在学习spring中所记录的笔记，对于学习spring的同学是一个不错的东西，主要是word文档

2017-05-08

mybatis-spring整合简单的实例代码

这是一个简单的mybatis-spring整合的实例代码，使用maven进行管理，可以直接导入运行，给初学者一个参考

2017-05-08

基于hadoop的web云盘系统

这是一个基于hadoop的云盘系统，实现的界面是用javaweb完成的，使用的是spring Struts2 hibernate集合框架，配有sql文件。直接导入后运行这是一个基于hadoop的云盘系统，实现的界面是用javaweb完成的，使用的是spring Struts2 hibernate集合框架，配有sql文件。直接导入后运行这是一个基于hadoop的云盘系统，实现的界面是用javaweb完成的，使用的是spring Struts2 hibernate集合框架，配有sql文件。直接导入后运行

2017-04-07