>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
仅学习参考,不可用于商业用途
version_0
说明:单线程爬虫,使用模块为python自带模块,包括urllib,json等
写这个爬虫是为了熟悉urllib的基本使用,包括常用函数.urllib.build_opener()、urllib.parse.urljoin、urllib.parse.quote、urllib.request.urlopen
urllib.request.install_opener()、http.cookiejar、urllib.request.HTTPHandler()、urllib.request.HTTPCookiesProcessor()
请求频率通过random.uniform(),随机选取
本爬虫目前只支持获取手机页面的信息。
所有的图片信息,以链接方式保存。可以使用urllib.request.urlretrieve()下载。
若要构造多线程爬虫,请参考:https://www.cnblogs.com/nuochengze/p/12861358.html
效果预览:
![](https://i-blog.csdnimg.cn/blog_migrate/34a8006a33aa16293e49caa5fd6547aa.png)
源码如下:
from urllib import request
from urllib import parse
from urllib import error
from http import cookiejar
import re
from pprint import pprint
import time
import random
import json
class JdPhoneInfo(object):
def __init__(self,key_word):
self.key_word = key_word
def get_url(self,key_word,page_num