为了验证我的猜想,我打算先直接用requests获取点击 View Summary 前的页面的HTML和 cookies ,将从HTML中提取的 csrf_token 值作为点击 View Summary 时 post 请求的 data 里的 _csrf 值,同时附上 cookies ,这样两处 _csrf 就应该是匹配的了:
from lxml import etree
response1 = requests.get(url, headers=headers)
cookies = response1.cookies
html = etree.HTML(response1.text)
csrf_token = html.xpath(‘/html/head/meta[3]/@content’)[0]
data.update({‘_csrf’: csrf_token})
response2 = requests.post(url, data=data, headers=headers, cookies=cookies)
print(response2.status_code)
输出 200 ,虽然和Chrome显示的 302 不一样,但是也表示成功,那就不管了。把 response2.text 写入html文件打开看是这样:
Yeah,数据都在!说明我的猜想是对的!那一会再试试我从没用过的 requests.Session() 维持会话,自动处理 cookies 。
尝试pandas库提取网页表格
现在既然已经拿到了目标页面的HTML,那在获取所有年、地区、州名、县名之前,先测试一下 pandas.read_html 提取网页表格的功能。
pandas.read_html 这个函数时在写代码时IDE自动补全下拉列表里瞄到的,一直想试试来着,今天乘机拉出来溜溜:
import pandas as pd
df = pd.read_html(response2.text)[0]
print(df)
输出:
Yeah!拿到了,确实比自己手写提取方便,而且数值字符串自动转成数值,优秀!
准备所有参数
接下来要获取所有年、地区、州名、县名。年份和地区是写死在HTML里的,直接xpath获取:
州名、县名根据之前发现的两个js函数,要用 post 请求来获得,其中州名要根据地区名获取,县名要根据州名获取,套两层循环就行
def new():
session = requests.Session()
response = session.get(url=url, headers=headers)
html = etree.HTML(response.text)
return session, html
session, html = new()
years = html.xpath(‘//*[@id=“crmsearchform-year”]/option/text()’)
regions = html.xpath(‘//*[@id=“crmsearchform-region”]/option/text()’)
_csrf = html.xpath(‘/html/head/meta[3]/@content’)[0]
region_state = {}
state_county = {}
for region in regions:
data = {‘region’: region, ‘_csrf’: _csrf}
response = session.post(url_state, data=data)
html = etree.HTML(response.json())
region_state[region] = {x: y for x, y in
zip(html.xpath(‘//option/@value’),
html.xpath(‘//option/text()’))}
for state in region_state[region]:
data = {‘state’: state, ‘_csrf’: _csrf}
response = session.post(url_county, data=data)
html = etree.HTML(response.json())
state_county[state] = html.xpath(‘//option/@value’)
啧啧,使用 requests.Session 就完全不需要自己管理 cookies 了,方便!具体获得的州名县名就不放出来了,实在太多了。然后把所有年、地区、州名、县名的可能组合先整理成csv文件,一会直接从csv里读取并构造 post 请求的 data 字典:
remain = [[str(year), str(region), str(state), str(county)]
for year in years for region in regions
for state in region_state[region] for county in state_county[state]]
remain = pd.DataFrame(remain, columns=[‘CRMSearchForm[year]’,
‘CRMSearchForm[region]’,
‘CRMSearchForm[state]’,
‘CRMSearchForm[county]’])
remain.to_csv(‘remain.csv’, index=False)
由于州名有缩写和全称,也本地保存一份
import json
with open(‘region_state.json’, ‘w’) as json_file:
json.dump(region_state, json_file, indent=4)
我看了一下,一共49473行——也就是说至少要发送49473个 post 请求才能爬完全部数据,纯手工获取的话大概要点击十倍这个数字的次数……
正式开始
那么开始爬咯
import pyodbc
with open(“region_state.json”) as json_file:
region_state = json.load(json_file)
data = pd.read_csv(‘remain.csv’)
读取已经爬取的
cnxn = pyodbc.connect(‘DRIVER={Microsoft Access Driver (*.mdb, *.accdb)};’
‘DBQ=./ctic_crm.accdb’)
crsr = cnxn.cursor()
crsr.execute(‘select Year_, Region, State, County from ctic_crm’)
done = crsr.fetchall()
done = [list(x) for x in done]
done = pd.DataFrame([list(x) for x in done], columns=[‘CRMSearchForm[year]’,
‘CRMSearchForm[region]’,
‘CRMSearchForm[state]’,
‘CRMSearchForm[county]’])
done[‘CRMSearchForm[year]’] = done[‘CRMSearchForm[year]’].astype(‘int64’)
state2st = {y: x for z in region_state.values() for x, y in z.items()}
done[‘CRMSearchForm[state]’] = [state2st[x]
for x in done[‘CRMSearchForm[state]’]]
排除已经爬取的
remain = data.append(done)
remain = remain.drop_duplicates(keep=False)
total = len(remain)
print(f’{total} left.n’)
del data
%%
remain[‘CRMSearchForm[year]’] = remain[‘CRMSearchForm[year]’].astype(‘str’)
columns = [‘Crop’,
‘Total_Planted_Acres’,
‘Conservation_Tillage_No_Till’,
‘Conservation_Tillage_Ridge_Till’,
‘Conservation_Tillage_Mulch_Till’,
‘Conservation_Tillage_Total’,
‘Other_Tillage_Practices_Reduced_Till15_30_Residue’,
‘Other_Tillage_Practices_Conventional_Till0_15_Residue’]
fields = [‘Year_’, ‘Units’, ‘Area’, ‘Region’, ‘State’, ‘County’] + columns
data = {‘CRMSearchForm[format]’: ‘Acres’,
‘CRMSearchForm[area]’: ‘County’,
‘CRMSearchForm[crop_type]’: ‘All’,
‘summary’: ‘county’}
headers = {‘user-agent’: 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ’
'AppleWebKit/537.36 (KHTML, like Gecko) ’
‘Chrome/74.0.3729.131 Safari/537.36’,
‘Host’: ‘www.ctic.org’,
‘Upgrade-Insecure-Requests’: ‘1’,
‘DNT’: ‘1’,
‘Connection’: ‘keep-alive’}
url = ‘https://www.ctic.org/crm?tdsourcetag=s_pctim_aiomsg’
headers2 = headers.copy()
headers2 = headers2.update({‘Referer’: url,
‘Origin’: ‘https://www.ctic.org’})
def new():
session = requests.Session()
response = session.get(url=url, headers=headers)
html = etree.HTML(response.text)
_csrf = html.xpath(‘/html/head/meta[3]/@content’)[0]
return session, _csrf
session, _csrf = new()
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Python开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Python开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加V获取:vip1024c (备注Python)
一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
二、学习软件
工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。
三、入门学习视频
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。
一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
[外链图片转存中…(img-qy4xVAIG-1712798062585)]