2017年04月_chzeze

原创【Deep Learning】Hinton. Reducing the Dimensionality of Data with Neural Networks Reading Note

　　2006年，机器学习泰斗、多伦多大学计算机系教授Geoffery Hinton在Science发表文章，提出基于深度信念网络（Deep Belief Networks, DBN）可使用非监督的逐层贪心训练算法，为训练深度神经网络带来了希望。如果说Hinton 2006年发表在《Science》杂志上的论文[1]只是在学术界掀起了对深度学习的研究热潮，那么近年来各大巨头公司争相跟进，...

2017-04-28 14:50:00 324

原创【Python爬虫】教务处模拟登陆

Python2模拟登陆获取cookieimport urllibimport urllib2import cookielibfilename = 'cookie.txt'#声明一个MozillaCookieJar对象实例来保存cookie，之后写入文件cookie = cookielib.MozillaCookieJar(filename)opene...

2017-04-14 16:12:00 106

原创 Python之Cookielib

　　cookielib模块的主要作用是提供可存储cookie的对象，以便于与urllib2模块配合使用来访问Internet资源。Cookielib模块非常强大，我们可以利用本模块的CookieJar类的对象来捕获cookie并在后续连接请求时重新发送，比如可以实现模拟登录功能。该模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCo...

2017-04-14 15:42:00 115

原创 Python爬虫设置Headers

Python设置Headersimport urllib import urllib2 url = 'http://www.server.com/login'user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' values = {'username' : 'cqc', 'passw...

2017-04-14 11:38:00 199

原创 Python爬虫之Urllib库的基本使用

Python爬虫之Urllib库的基本使用import urllib2response = urllib2.urlopen("http://www.baidu.com")print response.read()其实上面的urlopen参数可以传入一个request请求,它其实就是一个Request类的实例，构造时需要传入Url,Data等等的内容。比如上面的...

2017-04-14 11:32:00 49

原创 GBDT 迭代决策树

　　GBDT(GradientBoostingDecisionTree)又叫MART（MultipleAdditiveRegressionTree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（generalization)较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起大家关注。...

2017-04-12 15:01:00 125

原创【网络爬虫】微信公众号采集

# WeixinCrawler根据搜狗搜索关键词采集微信公众号和相应推文采集策略：深度搜索采集核心代码：package main;import java.io.File;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOEx...

2017-04-02 23:08:00 111

原创【爬虫】通用抽取网页URL

package model;import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.InputStreamReader;import java.util.HashSet;import java.util.Set;...

2017-04-01 15:49:00 161

Zeze