2017年08月_风少年~

原创 Python第一天

简介：为什么要学学Python？其实我是不想学的，因为怕一学将收不住手。对于有强迫症的人来说，开始一件事情是非常恐怖的。。。。起因：首先是之前搞spark开发时，第一次接触到Python，当然同时还有R和Scala。最后我选择了Scala作为开发语言，因为它和java可以混编。其次是在转过来开发爬虫时，网上一搜一大片的Python，各种Python

2017-08-25 16:25:30 287

原创 Spring Boot 坑区之配置文件

前言：你妹灬呀！！！！spring boot配置文件找了一天的问题，结果是springboot 配置文件搞得鬼。它将我配置的值 off和on，改成了true和fasle，坑不坑！！！！！

2017-08-24 15:49:25 514

原创爬虫 IP代理策略

简介写爬虫，最终还是逃避不了和IP代理打交道。从网上找了好多家IP代理，如表序号服务商星级判定评论套餐ip有效期详情1阿布云下个月咨询20分钟的就阿布云那得性，死贵我也不说啥，请求10次9次超时搞基吧，问个问题100次1次都不回复，骗子公司就别干这个了，就这样也就骗一次，口碑还能做下去吗？专业版499

2017-08-22 11:33:16 515

原创校验移动手机号

2017-08-17 13:56:34 272

原创 java switch 坑区

文艺青年写代码往往要求有艺术感，那么能用switch地方肯定是不能再使用if……else……了，那么看看我遇见的问题：预想：当flag是true并aa判定成功就返回相应的数字，如果flag是false那么就走默认值55。public int testSwitch(){ boolean flag =false ; String aa= "33" ; switc

2017-08-15 09:58:56 872

原创 java 优雅的Map初始化方式

文艺青年就应当高点不同，让编程变得更加美妙一点： private static final Map urlMap =new HashMap() { { put("url1", "http://news.sina.com.cn");//新浪新闻 put("url2", "http://news.163.com");//网易新闻

2017-08-14 18:07:51 22896 3

原创 httpclient4.5 结合讯代理实现IP代理

遇见问题嘘嘘，不要让太多的人知道！！！！代理ip是爬虫工资必要的消费，那么如何很好的利用各家服务商提供的免费代理IP呢？使用方案讲解一下，就是在爬取之前先到各家服务商哪里爬取最新的可利用代理IP，然后放在ip池里，然后再去爬取目标网站。如此以来，维护好这个ip池，就可以源源不断的接收新的可以使用的

2017-08-11 16:30:07 1345

转载代理服务器工作原理是什么？

一、代理服务器的概念及工作原理（一）代理服务器的概念　　随着Internet技术的迅速发展，越来越多的计算机连入了Internet。很多公司也将自己公司的局域网接入了Internet。如何快速地访问Internet站点，提高网络的安全性，成为了当今的热门话题。在这种情况下，代理服务器便应运而生了。　　　　1、代理服务器的概念　　　　代理服务器（Proxy Server）是个人网络和In

2017-08-11 09:42:24 1186

转载 session和cookie作用原理,区别

Cookie概念在浏览某些网站时,这些网站会把一些数据存在客户端 , 用于使用网站等跟踪用户,实现用户自定义功能. 是否设置过期时间: 如果不设置过期时间,则表示这个 Cookie生命周期为浏览器会话期间 , 只要关闭浏览器,cookie就消失了. 这个生命期为浏览会话

2017-08-10 10:43:40 229

转载 Http Cookie机制及Cookie的实现原理

Cookie是进行网站用户身份，实现服务端Session会话持久化的一种非常好方式。Cookie最早由Netscape公司开发，现在由 IETF 的RFC 6265标准备对其规范，已被所有主流浏览器所支持。1. 为什么需要Cookie？HTTP是一种无状态的协议，客户端与服务器建立连接并传输数据，数据传输完成后，连接就会关闭。再次交互数据需要建立新的连接，因此，服务器无法从连接上跟踪会

2017-08-10 10:12:05 1218

原创大数据方案关键因素

大数据方案关键因素编号类别问题1数据存储规模与数据类型1-1：数据存储规模多大？1-2：有哪些数据类型？不同类型的数据，需要何种技术进行处理？2数据可获得性与质量2-1：数据源是否可获得？2-2：对获取困难的数据源，需要何种政策支持才能获得？2-3：采用何

2017-08-05 14:29:46 562

原创 Certificates does not conform to algorithm constraints

遇见问题在爬取北京移动网厅时，遇见问题：SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]javax.net.ssl.SSLH

2017-08-01 20:28:35 1306

风远陌