爬取农作物病虫害项目总结与代码(初级版)
自己动手写代码确实很费时间,费脑子。在写代码的过程中也会遇到很多的挑战,不是说女生 写代码不ok吗 ,这都是刻板印象,姐姐认真起来,自己都爱。
项目介绍
大概是如图片所示的层级关系,将所有的数据爬到本地,此处用 水稻病虫害 为例。
- 分析网址
等等,由此可以观察得到 网址组成是:https://www.cgris.net/disease/01-水稻 + 在改变的一部分+.htm
2. 批量下载html文件
def gethtml(url):
html=requests.get(url)
html.encoding='gb2312' #这段代码可以改变原本的编码格式,在这里是由 ISO拉丁 转为 中文GBK
return html.text # 一般都检查一下 一个函数是否需要返回值
- 拉动请求,模拟浏览器访问网站
def BatchDownload(url, pattern, Directory):
# 拉动请求,模拟成浏览器去访问网站->跳过反爬虫机制
headers = {'User-Agent',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36 Edg/92.0.902.84'}
opener = urllib.request.build_opener()
opener.addheaders = [headers]
# 获取网页内容
content = opener.open(url).read().decode('gbk')
# 构造正则表达式,从content中匹配关键词pattern
raw_hrefs = re.findall(pattern, content, 0)
# set函数消除重复元素
hset = set(raw_hrefs)
# print(hset)
list=[]
# 获取网址链接
url1=r"https://www.cgris.net/disease/01%EF%BC%8D%E6%B0%B4%E7%A8%BB/"
for href in hset:
# 之所以if else 是为了区别只有一个链接的特别情况
if (len(hset) > 1):
link = url1 + href
print(link)
list.append(link)
time.sleep(1)
# content1 = opener.open(link).read().decode('gbk')
# print(content1)
return list
按照上文获取到的网址链接,由于存在编码冲突,获取到的链接并不能访问到,所以:
def trans_zh(data): #[\u4e00-\u9fa5]+ 这是匹配中文的
pattern_zh_ch =re.compile(u"([\u4e00-\u9fa5]+)")
result_zh=pattern_zh_ch.findall(data)
for i in result_zh:
new_data_part=urllib.parse.quote(i)
pattern1_http=re.compile('([A-Za-z0-9%.://-])')
result1=pattern1_http.findall(data)
str=''.join(result1[:-4])
url1=str+new_data_part+'.htm'
return url1
其实在写代码的时候遇到过挺多问题的,写代码考验一个人的耐心还有逻辑力以及抗压能力吧。下次还是及时复盘更会收获大一些,做个时间间隔线什么的,不至于我现在都不记得当时的思路。
下面呈现全部的代码;
# -*- coding: utf-8 -*-
import sys
import importlib
# 批量下载html文件
import urllib.request
import re
import time
from urllib.parse import quote, unquote
import requests
from bs4 import BeautifulSoup as bf
importlib.reload(sys)
def getHtml(url):
print('url', url)
html=requests.get(url)
html.encoding='gb2312'
print('编码格式:',html.encoding)
return html.text
def write_html(path, html):
file=open(path, 'w', encoding="utf-8")
file.write(str(html))
file.close()
def BatchDownload(url, pattern, Directory):
# 拉动请求,模拟成浏览器去访问网站->跳过反爬虫机制
headers = {'User-Agent',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36 Edg/92.0.902.84'}
opener = urllib.request.build_opener()
opener.addheaders = [headers]
# 获取网页内容
content = opener.open(url).read().decode('gbk')
# 构造正则表达式,从content中匹配关键词pattern
raw_hrefs = re.findall(pattern, content, 0)
# set函数消除重复元素
hset = set(raw_hrefs)
# print(hset)
list=[]
# 下载链接
url1=r"https://www.cgris.net/disease/01%EF%BC%8D%E6%B0%B4%E7%A8%BB/"
for href in hset:
# 之所以if else 是为了区别只有一个链接的特别情况
if (len(hset) > 1):
link = url1 + href
print(link)
list.append(link)
time.sleep(1)
# content1 = opener.open(link).read().decode('gbk')
# print(content1)
return list
def trans_zh(data):
pattern_zh_ch =re.compile(u"([\u4e00-\u9fa5]+)")
result_zh=pattern_zh_ch.findall(data)
for i in result_zh:
new_data_part=urllib.parse.quote(i)
pattern1_http=re.compile('([A-Za-z0-9%.://-])')
result1=pattern1_http.findall(data)
str=''.join(result1[:-4])
url1=str+new_data_part+'.htm'
return url1
def save_html(list1):
list1.remove('https://www.cgris.net/disease/01%EF%BC%8D%E6%B0%B4%E7%A8%BB/http://icgr.caas.net.cn')
len1 = len(list1)
i = 0
for url1 in list1:
data = trans_zh(url1)
html = getHtml(data)
if i < len1:
write_html(r'rice_diease_ped_demo' + str(i) + '.html', html)
i += 1
print('完成!')
else:
break
def load_html():
for i in range(92):
html=open('D:/Program Files (x86)/materials/projects/qb_Ari/demo_code/rice_diease_ped_demo'+ str(i) + '.html', 'rb')
# bs=bf(html, 'html.parser')
return html
import docx
if __name__ == '__main__':
directory=r"D:\Program Files (x86)\materials\projects\qb_Ari\rice_diease_ped"
pattern = re.compile(r'<a href="(.*?)">')
doc=docx.Document()
for i in range(92):
html = open(
'D:/Program Files (x86)/materials/projects/qb_Ari/demo_code/rice_diease_ped_demo' + str(i) + '.html', 'rb')
bs = bf(html, 'html.parser')
print(bs.text)
try:
bs_text = bs.text
doc.add_paragraph(bs_text)
except Exception as e:
continue
#保存文本信息到word
doc.save('rice_diease_ped_.docx')