python学习之路一

安装requests

安装这个模块花了很长时间，因为一开始一直在报错，我总结了一下我报错的点：

1. 首先看你安装了几个版本 python --version
2. 看你cmd中运行python打开的是哪个版本，这个真的很重要，不然可能一直安装不到你想要的版本

爬取京东上的网页

爬取亚马逊上一个网页

爬取百度上搜索关键词

爬取图片

d盘下的abc.jpg就是你需要爬取的图片

ip地址归属地自动查询

import requests
# url = "http://m.ip138.com/ip.asp?ip="
# r = requests.get(url + '202.204.80.112')
# print(r.text[-500:])

url = "http://m.ip138.com/ip.asp?ip="
try:
    r = requests.get(url + '202.204.80.112')
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    print(r.text[-500:])
except:
    print("爬取失败")

BeautifulSoup

import requests
from bs4 import BeautifulSoup
r = requests.get("http://python123.io/ws/demo.html")
demo = r.text
soup= BeautifulSoup(demo,"html.parser")
print(soup.prettify())

中国大学网排名

chr(12288)是将英文空格转化成中文空格

import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):
    try:
        r = requests.get(url)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

def fillUnivList(ulist,html):
    soup = BeautifulSoup(html, "html.parser")
    for tr in soup.find("tbody").children:
        if isinstance(tr, bs4.element.Tag):    # 保证tr里面都是string字符串，没有注释掉的字符串
            tds = tr("td")
            ulist.append([tds[0].string, tds[1].string, tds[2].string])

def printUnivList(ulist,num):
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
    print(tplt.format("排名", "学校名称", "总分", chr(12288)))
    for i in range(num):
        u=ulist[i]
        print(tplt.format(u[0], u[1], u[2], chr(12288)))

def main():
    uinfo = []
    url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html"
    html = getHTMLText(url)
    fillUnivList(uinfo, html)
    printUnivList(uinfo, 20)     # 20 univs

main()

正则表达式

¹+$ 由26个字母组成的字符串(^匹配开头 $匹配结尾{)}^{[}A-Za-z0-9]+$ 由26个字母和数字组成的字符串
^-?\d+$ 整数形式的字符串
²*[1-9][0-9] *$ 正整数形式的字符串
[1-9]\d{5} 中国境内邮政编码，6位

例一：
IP地址字符串形式的正则表达式

1. 0-99 [1-9]?\d ?(表示匹配前面0次或1次)
2. 100-199 1\d{2} {n} n 是一个非负整数。匹配确定的 n 次。
3. 200-249 2[0-4]\d
4. 250-255: 25[0-5]
   (([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5]).){3}([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5])

例二：
邮政编码的匹配

import re
match = re.search(r'[1-9]\d{5}', 'BIT 100081')
if match:
    print(match.group(0))   #100081

re.search()方法扫描整个字符串，并返回第一个成功的匹配。如果匹配失败，则返回None。
group（）在正则表达式中用于获取分段截获的字符串，group（0）和group（）效果相同，均为获取取得的字符串整体

match = re.match(r'[1-9]\d{5}', 'BIT 10081') 
if match:
    print(match.group(0))

match是从一开始匹配字符串的，因为要匹配的字符串一开始不是邮政编号，所以返回的是空

match = re.match(r'[1-9]\d{5}', '100081 BIT')
if match:
    print(match.group(0)) #100081

re.findall()搜索字符串，以列表类型返回全部能匹配的子串

ls = re.findall(r'[1-9]\d{5}', 'BIT100081 TSU100084')
print(ls)  #['100081', '100084']

sp = re.split(r'[1-9]\d{5}', 'BIT100081 TSU100084')
print(sp)  #['BIT', ' TSU', '']

re.split()通过指定分隔符对字符串进行切片，如果参数 num 有指定值，则分隔 num+1 个子字符串

sp = re.split(r'[1-9]\d{5}', 'BIT100081 TSU100084',maxsplit=1)
print(sp)  #['BIT', ' TSU100084']

maxsplit是匹配最大的数字，其余的不匹配就全部按照一个字符串原样输出

for m in re.finditer(r'[1-9]\d{5}', 'BIT100081 TSU100084'):
    if m:
        print(m.group(0))   #100081
							#100084

sub = re.sub(r'[1-9]\d{5}', ':zeipro',  'BIT100081 TSU100084')
print(sub)   #BIT:zeipro TSU:zeipro

最小匹配操作符：
*？ 前一个字符0次或无限次
+？ 前一个字符1次或无限次
？？ 前一个字符的0次或1次
{m,n}? 扩展前一个字符m至n次

例三
爬取淘宝商品
“view_price”:“69.00” plt = re.findall(r’“view_prce”:"[\d.]"’,html) 因为plt要匹配的是以"view_price"的为键值对：后面的参数
r’“view_prce”:"[\d.]" "是引入冒号 :引入：\d. 获取以\d和.形成的信息 就是69.00

“raw_title”:“巴布豆旗舰店书包1-3年级护脊减负儿童书包男4-6小学生书包轻便” re.findall(r’“raw_title”:".*?"’,html)

import requests
import re
def getHTMLText(url):
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ''

def parsePage(ilt,html):
    try:
        plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)     #\表示引入了一个双引号（\"）  （\:\）引入了：  表示首先匹配view_prce这个字符串，并且获得以\d和.形成的信息
        tlt = re.findall(r'\"raw_title\"\:\".*?\"', html)
        for i in range(len(plt)):
            splice = eval(plt[i].split(':')[1])   #eval去掉外面的双引号
            title = eval(tlt[i].split(':')[1])
            ilt.append([splice, title])
    except:
        print("")

def printGoodsList(ilt):
    tplit = "{:4}\t{:8}\t{:16}"
    print(tplit.format("序号", "价格", "商品名称"))
    count = 0
    for g in ilt:
        count = count + 1
        print(tplit.format(count, g[0], g[1]))

def main():
    goods = '书包'
    depath = 2
    strat_url = 'https://s.taobao.com/search?q=' + goods
    infoList = []
    for i in range(depath):
        try:
            url = strat_url + '&s='+str(44*i)
            print(url)
            html = getHTMLText(url)
            parsePage(infoList, html)
        except:
            continue
    printGoodsList(infoList)

main()

---

1. A-Za-z ↩︎

2. 0-9 ↩︎