2021-09-02

爬取农作物病虫害项目总结与代码（初级版）

自己动手写代码确实很费时间，费脑子。在写代码的过程中也会遇到很多的挑战，不是说女生 写代码不ok吗 ，这都是刻板印象，姐姐认真起来，自己都爱。

项目介绍

大概是如图片所示的层级关系，将所有的数据爬到本地，此处用 水稻病虫害 为例。

1. 分析网址
   
   

等等，由此可以观察得到 网址组成是：https://www.cgris.net/disease/01－水稻 + 在改变的一部分+.htm
2. 批量下载html文件

def gethtml(url):
	html=requests.get(url)
	html.encoding='gb2312'  #这段代码可以改变原本的编码格式，在这里是由 ISO拉丁 转为 中文GBK
	return html.text  # 一般都检查一下 一个函数是否需要返回值

3. 拉动请求，模拟浏览器访问网站

def BatchDownload(url, pattern, Directory):
    # 拉动请求，模拟成浏览器去访问网站->跳过反爬虫机制
    headers = {'User-Agent',
               'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36 Edg/92.0.902.84'}
    opener = urllib.request.build_opener()
    opener.addheaders = [headers]

    # 获取网页内容
    content = opener.open(url).read().decode('gbk')

    # 构造正则表达式，从content中匹配关键词pattern
    raw_hrefs = re.findall(pattern, content, 0)

    # set函数消除重复元素
    hset = set(raw_hrefs)
    # print(hset)
    list=[]

    # 获取网址链接
    url1=r"https://www.cgris.net/disease/01%EF%BC%8D%E6%B0%B4%E7%A8%BB/"
    for href in hset:
        # 之所以if else 是为了区别只有一个链接的特别情况
        if (len(hset) > 1):

            link = url1 + href
            print(link)
            list.append(link)

            time.sleep(1)
            # content1 = opener.open(link).read().decode('gbk')
            # print(content1)
    return list

按照上文获取到的网址链接，由于存在编码冲突，获取到的链接并不能访问到，所以：

def trans_zh(data):  #[\u4e00-\u9fa5]+ 这是匹配中文的
    pattern_zh_ch =re.compile(u"([\u4e00-\u9fa5]+)")
    result_zh=pattern_zh_ch.findall(data)
    for i in result_zh:
        new_data_part=urllib.parse.quote(i)
        pattern1_http=re.compile('([A-Za-z0-9%.://-])')
        result1=pattern1_http.findall(data)
        str=''.join(result1[:-4])
        url1=str+new_data_part+'.htm'
        return url1

其实在写代码的时候遇到过挺多问题的，写代码考验一个人的耐心还有逻辑力以及抗压能力吧。下次还是及时复盘更会收获大一些，做个时间间隔线什么的，不至于我现在都不记得当时的思路。
下面呈现全部的代码；

# -*- coding: utf-8 -*-
import sys
import importlib
# 批量下载html文件
import urllib.request
import re
import time
from urllib.parse import quote, unquote
import requests
from bs4 import BeautifulSoup as bf
importlib.reload(sys)
def getHtml(url):
    print('url', url)

    html=requests.get(url)
    html.encoding='gb2312'
    print('编码格式：',html.encoding)
    return html.text


def write_html(path, html):
    file=open(path, 'w', encoding="utf-8")
    file.write(str(html))
    file.close()


def BatchDownload(url, pattern, Directory):
    # 拉动请求，模拟成浏览器去访问网站->跳过反爬虫机制
    headers = {'User-Agent',
               'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36 Edg/92.0.902.84'}
    opener = urllib.request.build_opener()
    opener.addheaders = [headers]

    # 获取网页内容
    content = opener.open(url).read().decode('gbk')

    # 构造正则表达式，从content中匹配关键词pattern
    raw_hrefs = re.findall(pattern, content, 0)

    # set函数消除重复元素
    hset = set(raw_hrefs)
    # print(hset)
    list=[]

    # 下载链接
    url1=r"https://www.cgris.net/disease/01%EF%BC%8D%E6%B0%B4%E7%A8%BB/"
    for href in hset:
        # 之所以if else 是为了区别只有一个链接的特别情况
        if (len(hset) > 1):

            link = url1 + href
            print(link)
            list.append(link)

            time.sleep(1)
            # content1 = opener.open(link).read().decode('gbk')
            # print(content1)
    return list
def trans_zh(data):
    pattern_zh_ch =re.compile(u"([\u4e00-\u9fa5]+)")
    result_zh=pattern_zh_ch.findall(data)
    for i in result_zh:
        new_data_part=urllib.parse.quote(i)
        pattern1_http=re.compile('([A-Za-z0-9%.://-])')
        result1=pattern1_http.findall(data)
        str=''.join(result1[:-4])
        url1=str+new_data_part+'.htm'
        return url1


def save_html(list1):
    list1.remove('https://www.cgris.net/disease/01%EF%BC%8D%E6%B0%B4%E7%A8%BB/http://icgr.caas.net.cn')
    len1 = len(list1)

    i = 0
    for url1 in list1:
        data = trans_zh(url1)
        html = getHtml(data)
        if i < len1:
            write_html(r'rice_diease_ped_demo' + str(i) + '.html', html)
            i += 1
            print('完成！')
        else:
            break

def load_html():
    for i in range(92):
        html=open('D:/Program Files (x86)/materials/projects/qb_Ari/demo_code/rice_diease_ped_demo'+ str(i) + '.html', 'rb')
        # bs=bf(html, 'html.parser')
        return html


import docx
if __name__ == '__main__':
    directory=r"D:\Program Files (x86)\materials\projects\qb_Ari\rice_diease_ped"
    pattern = re.compile(r'<a href="(.*?)">')
    doc=docx.Document()
    for i in range(92):
        html = open(
            'D:/Program Files (x86)/materials/projects/qb_Ari/demo_code/rice_diease_ped_demo' + str(i) + '.html', 'rb')

        bs = bf(html, 'html.parser')
        print(bs.text)
        try:
            bs_text = bs.text
            doc.add_paragraph(bs_text)
        except Exception as e:
            continue


        #保存文本信息到word
        doc.save('rice_diease_ped_.docx')