【爬虫】python爬虫

爬虫章节

1.python如何访问互联网

   URL（网页地址）+lib=》urllib

2.有问题查文档：python document.

3.response = urllib.request.urlopen(""www.baidu.com)

  html =html.decode("utf-8")  破除二进制的解码操作

4.读取网页图片  wb:二进制

  urlopen=request + urlopen

1. 浏览器--审查元素--查看Network（python提交POST表单）

（浏览器和客户端的通信内容）

  GET：从服务器请求获得数据

  POST：向指定服务器提交被处理的数据

  8分45秒点击POST（translate？smartresult）

  点开之后点击Preview就可以看到被翻译的内容。

（1）然后分析一下headers的内容

①Status Code：200  正常响应的意思   404表示不正常响应

②Request Headers服务器。一般通过下面的User-Agent识别是浏览器访问还是代码访问

③Form Data：POST提交的主要内容

（2）POST需要指定的data格式，可以通过parse转换格式

（3）代码实现翻译POST功能

import urllib.request

Import urllib,parse

 

url=’ ’   //Headers下面的Request URL

Data={ }     //也就是Headers下面的From Data

 

Type:AUTO

I:l love FishC.com!

doctype:json

xmlVersion:1.6

Keyfrom:fanyi.web

Ue:UTF-8

typoRsult:true

Response = urllib.request.urlopen(url,data)

 

修改：

Data[‘type’] = ‘AUTO’

Data[‘i’]=’I love FishC.com!’

Data[‘doctype’] = ‘json’

Data[‘xmlVersion’] = ‘1.6’

Data[‘keyfrom’] = ‘fanyi.web’

Data[‘ue’] = ‘UTF-8’      UTF-8是对unicode很灵活的编码形式

Data[‘typoRsult’] = ‘true’  

Urllib.parse.urlencode(data)     //编码形式

 

 

Response = urllib.request.urlopen(url,data).encode (‘utf-8’)  //python默认的是unicode形式

Html = response.read().decode(‘utf-8’)   //把其他编码形式变成unicode形式

Print (html)  

//输出的是一个json结构

 

Import  json

Json.loads(html)     //载入之后发现就是一个字典

Target = json.loads(html)

Type(target)

输出：<class ‘dict’>  字典形式

Target[‘translateResult’]

输出：[[{‘tgt’:’我爱FishC.com@’,’src’:’I love FishC.com!’}]]

>>>target[‘translateResult’][0][0][‘tgt’]

输出：’我爱FishC.com!’

 

 

 

经过以上的分析，代码如下：

Import urllib.request

Import urllib,parse

Import json

 

Content = input(“请输入需要翻译的内容:”)

 

Url = ‘http:..fanyi.youdao.com/translagte?smartresult=dict&smartresult=;xxxxx’

Data = {}

Data[‘type’] = ‘AUTO’

Data[‘i’]=’I love FishC.com!’

Data[‘doctype’] = ‘json’

Data[‘xmlVersion’] = ‘1.6’

Data[‘keyfrom’] = ‘fanyi.web’

Data[‘ue’] = ‘UTF-8’      UTF-8是对unicode很灵活的编码形式

Data[‘typoRsult’] = ‘true’  

Urllib.parse.urlencode(data).encode(‘utf-8’)     //编码形式

 

Response = urllib.request.urlopen(url,data)

Html = response.read().decode(‘utf-8’)

 

Target = json.loads(html)

Print(“翻译结果:%s” %(target[‘translateResult’][0][0][‘tgt’]))

 

1. 修改headers模拟浏览器登录

（1）方法一：通过Request的headers参数修改

添加代码

Head = {}

Head[‘User-Agent’] = ‘ 把代码head里的user-agent拷贝过来即可’

（2）方法二：通过Request.add_header（）方法修改

在req = urllib.request.Request(url,data,head)

Req.add_header(‘User-Agent’,’那个网站’)    

 

1. 防止网站对同一ip短时间内多次访问设置权限的方法

（1）延迟访问时间(不建议使用)

（2）代理

①参数是一个字典{‘类型’:’代理ip:端口号’}

Proxy_support = urllib.request.ProxyHandler({})

②定制、创建一个opener

Opener = urllib.request.build_opener(proxy_support)

③a.安装opener

Urllib.request.install_opener(opener)

B.调用opener

Opener.open(url)

（直接搜索代理ip就行）

 

Import urllib.request

Url = ‘http://www.whatismyip.com.tw’

 

Proxy_support = urllib.request.ProxyHandler({‘http’:’’119.6.144.73:81’})

 

Opener = urllib.request.build_opener(proxy_support)

 

Urllib.request.install_opener(opener)

 

Urllib.request.urlopen(url)

Html = response.read().decode(‘utf-8’)

 

Print(html)

 

 

④修改opener的headers如下:

Import urllib.request

Url = ‘http://www.whatismyip.com.tw’

 

Proxy_support = urllib.request.ProxyHandler({‘http’:’’119.6.144.73:81’})

 

Opener = urllib.request.build_opener(proxy_support)

Opener.addheaders = [(‘user-agent’,’就是那个网页的内容’)]

 

Urllib.request.install_opener(opener)

 

Urllib.request.urlopen(url)

Html = response.read().decode(‘utf-8’)

 

Print(html)

 

⑤建立多个ip

Import urllib.request

Import random  //使用random，随机使用ip

 

Url = ‘http://www.whatismyip.com.tw’

 

Iplist = [‘119.6.144.73L81’,’183.203.208.166:8118’,’ ’]

Proxy_support = urllib.request.ProxyHandler({‘http’:’’random.choice(iplist’})

 

Opener = urllib.request.build_opener(proxy_support)

Opener.addheaders = [(‘user-agent’,’就是那个网页的内容’)]

 

Urllib.request.install_opener(opener)

 

Urllib.request.urlopen(url)

Html = response.read().decode(‘utf-8’)

 

Print(html)

 

 

1. 抓取网站的前十页图片并保存（模块化）

Import urllib.request

Import os  //在当前目录创建文件夹

 

Def get_page(url);

   Req = urllib.request.Request(url)

   Req.add_header(‘User-Agent’,’head网址’)

   response

 

 

Def Find_imgs(url):  

   pass

 

 

Def save_imgs(folder,img_addrs):

   pass

 

 

Def download_mm(folder=’ooxx’,pages=10):   //pages表示下载10页

   os.mkdir(folder)   //创建文件夹的名字folder

   Os.chdir(folder)

 

   Url=”http://jandan.net/ooxx”
page_num =int(get_page(url))

 

For i in range(pages):

   Page_num-=i

   Page_url = url+’page-’+str(page_num) + ‘#comments’  //此时已经获取了地址

   //接下来要打开网站获取图片的地址

   Img_addrs = Find_imgs(page_url)

   Save_imgs(img_addrs)   //要熟悉明白模块化思维

 

 

If __name__ == ‘__main__’:

Download_mm()

 

附加：If __name__ == ‘__main__’作用：测试模块可用性。

9.想调用函数的话，直接输入一下就行了。

比如我定义了

Def url_open(url):

  Req = urllib.request.Request(url)

  Req.add_header(‘User-Agent’,’地址’)

  Response = urllib.request.urlopen(url)

  Html = response.read()

  Return html

 

如果想在def get_page(url)里面使用url的话

就直接 html = url_open(url).decode(‘utf-8’)

也就是说其实这个是和数学上的函数引用一样的。

 

1. 正则表达式

（1）search方法是在内容中找到第一次匹配成功的位置；

（2） . ：表示任何文件名（不包括换行符），通配符

（3）如果想寻找.。就用\.

（4）\d：匹配一个所有数字

（5）匹配ip地址  ：\d\d\d\.\d\d\d\.\d\d\d

（6）Re.search(r’[aeiou]],’I loce FishC.com!’)

（7）小横杠表示范围  [a-z]  [0-9]

（8）限制匹配次数：re.search(r’ab{3}c’,’abbbc’)

（9）给匹配次数添加范围:re.search(r’ab{3,10}c’,’abbbbbbbc’)

（10）正则表达式没有十百千的概念，只有数字的概念

  Re.search(r’[01]\d\d|2[0-4]\d|25[0-5]’,’188’)  0-255

（11）{0,1}重复0次或者1次，0次就是表示不重复，可有可无，可以不存在。

 

1. Scrapy

（1）Scrapy是爬虫的孙子兵法。

 

（2）

转载于:https://www.cnblogs.com/osmondwang/p/7764406.html