python 爬虫总结

重点

1、psot的link adress 一定要对

2、form_data 一定是有 单引号的

3、逻辑关系一定要梳理清楚

4、存成csv的时候 对应位置很重要

5、a下的title目前还是取不到

 

jsonData=requests.post(url,params=searchdata,headers=ajax_header)
    soup = BeautifulSoup(jsonData.text, 'lxml')
    trs = soup.find_all('tr')
    for tr in trs:
         ui = []     
         ui2=[]     
         tds = tr.find_all('td')
         tdsA = tr.find_all({"td","a"})
         for tdsA1 in tdsA:
             ui2.append(tdsA1.string)#标签内的文字 不是标签的
         urli.append(ui2)