爬虫学习W07-W12

re库

raw string

r’text’

功能函数

函数	说明
re.search()	搜索匹配正则的第一个位置
re.match()	从开始位置起匹配
re.findall()	搜索字符串，以列表类型返回全部能匹配的
re.split()	分割，返回列表
re.finditer()	搜索，返回一个匹配结构的迭代类型，每个迭代元素是match对象
re.sub()	在一个字符串中替换所有匹配的自传，返回替换后的字符串

re.search(pattern,string,flags=0)

flags
re.I	忽略大小写
re.M	^操作符可以将每行当做匹配开始
re.S	.操作符匹配所有字符（除换行外）

maxsplit超过最大分割数的剩余部分整体输出
repl替换字符串
count替换最大次数

re库的使用方法

1. 函数式rst = re.search(r'text','text')
2. 面向对象

pat = re.compile(r’text’)
rst = pat.search(‘text’)

match对象的属性

属性	说明
.string	待匹配文本
.re	匹配时使用的正则
.pos	开始搜索的位置
.endpos	搜索文本结束的位置

方法	说明
.group()	获得匹配后的字符串
.start()	匹配字符串在原始的开始位置
.end()	匹配在原始的结束位置
.span()	返回（.start(),.end()）

默认贪婪匹配

最小匹配操作符

操作符	说明
*?	前一个字符0或无限
+?	前一个字符一次或无限
??	0次或一次
{m,n}?	m至n次，包含n

淘宝商品

import requests
import re
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return ""

def parsePage(ilt,html):
    try:
        plt=re.findall(r'\"view_price\"\:\"[\d\.]*\"',html)
        tlt=re.findall(r'\"raw_title\"\:\".*?\"',html)
        for i in range(len(plt)):
            price=eval(plt[i].split(":")[1])
            title=eval(tlt[i].split(":")[1])
            ilt.append([price,title])
    except:
        print("")

def printGoodsList(ilt):
    tplt = "{:4}\t{:8}\t{:16}"
    print(tplt.format("序号","价格","商品名称"))
    count=0
    for g in ilt:
        count=count+1
        print(tplt.format(count,g[0],g[1]))
    print("")

def main():
    goods="眼镜"
    depth=2
    start_url="https://s.taobao.com/search?q="+goods
    infoList=[]
    for i in range(depth):
        try:
            url=start_url +"&s="+str(44*i)
            headers={
                "user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36",
                "cookie":""#一定得登录后用ctrlf搜索商品复制
            }
            html=requests.get(url,headers=headers)
            print(html.text)
            parsePage(infoList,html.text)
        except:
            continue
    printGoodsList(infoList)
main()

股票定向爬虫

def getFundList(lst, fundURL):

    html = getHTMLText(fundURL)

    soup = BeautifulSoup(html, 'html.parser')

    a = soup.find_all('tr')

    for i in a:

        try:

            id = i.attrs['id']

            lst.append(re.findall(r"[tr]\d{6}", id)[0])

        except:

            continue

 

def getFundInofo(lst, fundURL, fpath):

    for fund in lst:

        url = fundURL + fund[1:] + ".html"

        html = getHTMLText(url)

        try:

            if html == '':

                continue

            infoDict = {}

            soup = BeautifulSoup(html, 'html.parser')

            fundInfo = soup.find('div', attrs={'class': "merchandiseDetail"})

            name = fundInfo.find_all(attrs={'class': "fundDetail-tit"})[0]

            infoDict.update({'基金名称': name.text.split()[0]})

 

            keyList = fundInfo.find_all("dt")

            valueList = fundInfo.find_all("dd")

            for i in range(len(keyList)):

                key = keyList[i].text

                val = valueList[i].text

                infoDict[key] = val

 

            with open(fpath, 'a', encoding='utf-8') as f:

                f.write(str(infoDict) + '\n')

        except:

            traceback.print_exc() #获得错误信息

            continue

 

def main():

    fund_list_url = "https://fund.eastmoney.com/fund.html#os_0;isall_0;ft_;pt_1"

    fund_info_url = "https://fund.eastmoney.com/"

    output_file = 'D://Fundinfo.txt'

    slist = []

    getFundList(slist, fund_list_url)

    getFundInofo(slist, fund_info_url, output_file)

scrapy框架

5+2结构
engine：
控制所有模块之间的数据流
根据条件触发事件
不需要用户修改

downloader:
根据请求下载网页
不需要用户修改

scheduler:
对所有爬取请求进行调度管理
不需要用户修改

*downloader middleware：*进行用户可配置的控制
功能：修改、丢弃、新增请求或响应
用户可以编写配置代码

spider

• 解析downloader返回的响应（response）
• 产生爬取项（scraped item）
• 产生额外的爬取请求（request）
• 需要用户编写配置代码

item pipelines

• 以流水线方式处理spider产生的爬取项
• 由一组操作顺序组成，类似流水线，每个操作是一个item pipeline类型
• 可能的操作包括:清理，检验和查重爬取项中的HTML数据、将数据存储到数据库
• 需要用户编写配置代码

spider middleware目的：对请求和爬取项的再处理
功能：修改、丢弃、新增请求或爬取项
用户可以编写配置代码

常用命令

scrapy <command> [options] [args]

命令	说明	格式
startproject	创建一个新工程	scrapy startproject <name>[dir]
genspider	创建一个爬虫	scrapy genspider [options]<name>[domain]
settings	获得爬虫配置信息	scrapy settings [options]
crawl	运行一个爬虫	scrapy crawl<spider>
list	列出工程中所有爬虫	scrapy list
shell	启动URL调试命令行	scrapy shell [url]

yield生成器

• 一个不断产生值的函数
• 包含yield语句的函数是一个生成器
• 生成器每次产生一个值（yield语句），函数被冻结，被唤醒后再产生一个值

def gen(n):
	for i in range(n):
		yield i**2