- 博客(12)
- 资源 (9)
- 收藏
- 关注
原创 使用Selenium渲染页面并提取数据
最近使用java爬虫收集数据,遇到js动态数据的时候使用如jsoup是获取不到数据的,所以要先进行页面的渲染。下面是以京东商城数据为例,使用Selenium需要先下好相应的驱动,我使用的是Chrome;还需要加入common-exec包import org.openqa.selenium.By;import org.openqa.selenium.WebDriver;import o
2013-11-30 17:31:04 12651
使用Selenium渲染页面并提取数据
最近使用java爬虫收集数据,遇到js动态数据的时候使用如jsoup是获取不到数据的,所以要先进行页面的渲染。下面是以京东商城数据为例,使用Selenium需要先下好相应的驱动,我使用的是Chrome;还需要加入common-exec包import org.openqa.selenium.By;import org.openqa.selenium.WebDriver;import ...
2013-11-30 17:31:00 405
原创 Python3 自定义迭代器
1、迭代器基于下面两个个方法:(1)__next__ 返回容器的下一个项目(2)__iter__ 返回迭代器本身2、当序列遍历完时,将抛出StopIteration异常,所以通过捕获这个异常来停止循环下面是自定义迭代器的示例代码:#encoding:UTF-8class MyIterator(object): def __init__(self,step):
2013-11-21 23:18:53 3834
Python3 自定义迭代器
1、迭代器基于下面两个个方法:(1)__next__ 返回容器的下一个项目(2)__iter__ 返回迭代器本身2、当序列遍历完时,将抛出StopIteration异常,所以通过捕获这个异常来停止循环下面是自定义迭代器的示例代码:#encoding:UTF-8class MyIterator(object): def __init__(self,step): ...
2013-11-21 23:18:00 239
原创 Python3 pickle序列化
1、什么东西能用pickle模块存储?所有Python支持的 原生类型 : 布尔, 整数, 浮点数, 复数, 字符串, bytes(字节串)对象, 字节数组, 以及 None.由任何原生类型组成的列表,元组,字典和集合。由任何原生类型组成的列表,元组,字典和集合组成的列表,元组,字典和集合(可以一直嵌套下去,直至Python支持的最大递归层数).函数,类,和类的实例(带警告)。
2013-11-06 11:21:21 6052
Python3 pickle序列化
1、什么东西能用pickle模块存储?所有Python支持的原生类型: 布尔, 整数, 浮点数, 复数, 字符串,bytes(字节串)对象, 字节数组, 以及None.由任何原生类型组成的列表,元组,字典和集合。由任何原生类型组成的列表,元组,字典和集合组成的列表,元组,字典和集合(可以一直嵌套下去,直至Python支持的最大递归层数).函数,类,和类的实例(带警告)。...
2013-11-06 11:21:00 203
原创 github简单使用
1、创建repository2、在本地创建一个目录(这个目录名需要和上一步创建的项目名相同),如下:$ mkdir PythonThreadingTest3、进入 “PythonThreadTest”目录cd PythonThreadingTest/4、git初始化文件夹git init5、创建一个“README”
2013-11-04 15:37:52 1550
github简单使用
1、创建repository2、在本地创建一个目录(这个目录名需要和上一步创建的项目名相同),如下:$ mkdir PythonThreadingTest3、进入 “PythonThreadTest”目录cd PythonThreadingTest/4、git初始化文件夹git init5、创建一个“README” 文件to...
2013-11-04 15:37:00 165
原创 Python3 urllib GET方式获取数据
GET方式示例【百度搜索】#encoding:UTF-8import urllibimport urllib.request#数据字典data={}data['word']='python3'#注意Python2.x的区别url_values=urllib.parse.urlencode(data)print(url_values)url="http://www.
2013-11-03 13:04:26 11066
Python3 urllib GET方式获取数据
GET方式示例【百度搜索】#encoding:UTF-8import urllibimport urllib.request#数据字典data={}data['word']='python3'#注意Python2.x的区别url_values=urllib.parse.urlencode(data)print(url_values)url="http://www....
2013-11-03 13:04:00 260
原创 Python3 urllib抓取指定URL的内容
最近在研究Python,熟悉了一些基本语法和模块的使用;现在打算研究一下Python爬虫。学习主要是通过别人的博客和自己下载的一下文档进行的,自己也写一下博客作为记录学习自己过程吧。Python代码写起来和Java的感觉很不一样。Python爬虫主要使用的是urllib模块,Python2.x版本是urllib2,很多博客里面的示例都是使用urllib2的,因为我使用的是Python3.3.2
2013-11-03 11:16:50 39279 4
Python3 urllib抓取指定URL的内容
最近在研究Python,熟悉了一些基本语法和模块的使用;现在打算研究一下Python爬虫。学习主要是通过别人的博客和自己下载的一下文档进行的,自己也写一下博客作为记录学习自己过程吧。Python代码写起来和Java的感觉很不一样。Python爬虫主要使用的是urllib模块,Python2.x版本是urllib2,很多博客里面的示例都是使用urllib2的,因为我使用的是Python3.3.2...
2013-11-03 11:16:00 834
ASP.NET3.5从入门到精通
2013-03-13
.NET网络编程
2013-03-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人