python爬虫有几种方法_基于Python爬虫的几种方法,python

一  requests，json格式数据

#1.获取链接

url =

#2.获取响应

response = requests.get(url)

response = response.content.decode()

#3.提取数据

response = json.loads(response)         # json字符串→python字典

#4.保存数据

f.write(json.dumps(content))            # python字典→json字符串，字典不能写入文件

注：

1.可用user-agent-switcher将浏览器切换到手机模式，获取json格式数据

二  selenium

#1.获取链接

url =

#2.获取响应

driver=webdriver.Chrome()

response = driver.get(url)

#3.提取数据

方法一：xml

response = driver.page_source

response = etree.HTML(response)

方法二：selenium，可翻页、点击等操作

response = driver.find_element_by_

#4.保存数据

三  pyppeteer

四  python与mongodb交互