2017年05月_say_haha

原创 Python 爬虫尽量不被发现策略

1. 不要用一个IP狂爬所以要准备一堆可用的代理IP，如果公司有额外的比较闲的IP最好了，闲着也是闲着，在不影响正常业务的提前下，多换IP。否则就要想办法获取免费代理。2.勤换UA很多人喜欢在配置中列一些UA, 其实吧，可以使用fake-useragent。其实我也推荐大家伪装成各大搜索网站的UA，比如Google UA 有这样一些Google抓取工具，说到这里，有的网站，你添

2017-05-26 15:57:49 5081

原创 Python2中的urllib、urllib2与Python3中的urllib以及第三方模块requests

python2中，urllib和urllib2都是接受URL请求的相关模块，但是提供了不同的功能。两个最显著的不同如下：urllib2.urlopen accepts an instance of the Requestclass or a url, whereas urllib.urlopen only accepts a url 1、urllib2可以接受一个Reque

2017-05-26 11:25:57 7787

原创 Python 列表内字符编码问题，encode和decode

在学习python爬虫时遇到个小问题，记录一下：列表内的元素用循环单个输出的话，是正常的中文显示，而用 append 方法添加到集合再直接输出集合的时候，显示的是下面的Unicode编码格式。import urllib2import randomfrom bs4 import BeautifulSouphds=[{'User-Agent':'Mozilla/5.0 (Macintos

2017-05-25 10:53:47 10015 1

原创 Python2 设置系统默认编码

python2.x默认的编码是ascii，默认的defaultcoding：ascii是许多错误的原因,当程序中出现非ascii编码时，python的处理常常会报这样的错UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128)，python没办法处理非asc

2017-05-24 10:13:16 14050 1

原创 c语言数据结构补齐原则

/* 原则1、数据成员对齐规则：结构（struct或联合union）的数据成员，第一个数据成员放在offset为0的地方，以后每个数据成员存储的起始位置要从该成员大小的整数倍开始（比如int在32位机为4字节，则要从4的整数倍地址开始存储）。原则2、结构体作为成员：如果一个结构里有某些结构体成员，则结构体成员要从其内部最大元素大小的整数倍地址开始存储。（struct a里

2017-05-15 11:52:09 830

原创 java中的访问修饰符--public、protected、default、private

一. Java中的访问修饰符　　Java面向对象的基本思想之一是封装细节并且公开接口。Java语言采用访问控制修饰符来控制类及类的方法和变量的访问权限，从而向使用者暴露接口，但隐藏实现细节。访问控制分为四种级别：　　（1）public：用public修饰的类、类属变量及方法，包内及包外的任何类（包括子类和普通类）均可以访问；　　（2）protected：用protect

2017-05-15 11:15:18 698

原创 Java异常finally语句

Java中异常捕获机制try...catch...finally块中的finally语句是不是一定会被执行？很多人都说不是，当然他们的回答是正确的，经过我试验，至少有两种情况下finally语句是不会被执行的：（1）try语句没有被执行到，如在try语句之前就返回了，这样finally语句就不会执行，这也说明了finally语句被执行的必要而非充分条件是：相应的try语句一定被执行到。

2017-05-15 10:06:01 446

原创 Java多线程

在java中要想实现多线程，有两种手段，一种是继承Thread类，另外一种是实现Runable接口.一、扩展java.lang.Thread类这里继承Thread类的方法是比较常用的一种，如果说你只是想起一条线程。没有什么其它特殊的要求，那么可以使用Thread.（笔者推荐使用Runable，后头会说明为什么）。下面来看一个简单的实例Thread类代表线程类，主要有

2017-05-12 15:05:12 274

转载【DWT笔记】傅里叶变换与小波变换

【DWT笔记】傅里叶变换与小波变换一、前言我们经常接触到的信号，正弦信号，余弦信号，甚至是复杂的心电图、脑电图、地震波信号都是时域上的信号，我们也成为原始信号，但是通常情况下，我们在原始信号中得到的信息是有限的，所以为了获得更多的信息，我们就需要对原始信号进行数学变换，得到变换域的信号，通常接触到的变换主要有傅里叶变换、拉普拉斯变换、Z变换、小波变换等等，今天主要讨

2017-05-09 10:49:28 4697 1

转载 Java面试题总结

原文地址：http://blog.csdn.net/jackfrued/article/details/449219412013年年底的时候，我看到了网上流传的一个叫做《Java面试题大全》的东西，认真的阅读了以后发现里面的很多题目是重复且没有价值的题目，还有不少的参考答案也是错误的，于是我花了半个月时间对这个所谓的《Java面试大全》进行了全面的修订并重新发布在我的CSDN博客。在修

2017-05-04 15:05:11 373

转载小波去噪DWT

一、前言在现实生活和工作中，噪声无处不在，在许多领域中，如天文、医学图像和计算机视觉方面收集到的数据常常是含有噪声的。噪声可能来自获取数据的过程，也可能来自环境影响。由于种种原因,总会存在噪声，噪声的存在往往会掩盖信号本身所要表现的信息，所以在实际的信号处理中，常常需要对信号进行预处理，而预处理最主要的一个步骤就是降噪。小波分析是近年来发展起来的一种新的信号处理

2017-05-02 09:18:07 18677

原创 Dynamic Time Warping 动态时间规整算法

DTW为(Dynamic Time Warping,动态时间归准)的简称。应用很广，主要是在模板匹配中，比如说用在孤立词语音识别，计算机视觉中的行为识别，信息检索等中。可能大家学过这些类似的课程都看到过这个算法，公式也有几个，但是很抽象，当时看懂了但不久就会忘记，因为没有具体的实例来加深印象。这次主要是用语音识别课程老师上课的一个题目来理解DTW算法。　　首先还是介绍下

2017-05-01 20:54:57 628

say_haha的博客