Python爬虫学习笔记

requests模块介绍

requests模块，python中原生的一款基于网络请求的模块
作用：模拟浏览器发请求
如何使用（requests模块的编码流程）：

• 指定url
• 发起请求(post请求Ajax，get请求静态）
• 获取响应数据
• 持久化存储
  环境安装：
  pip install requests

#需求：爬取搜狗首页的页面数据
import requests
#step 1: 指定url
url = 'https://www.sogou.com/'
#step 2: 发起请求
#get方法会返回一个响应对象
response = requests.get(url=url)
#step 3: 获取响应数据, text返回的是字符串形式的响应数据
page_text = response.text
#step 4: 持久化存储
with open('./sogou.html','w',encoding='utf-8') as fp:
    fp.write(page_text)
print('爬取数据结束！')    

爬取数据结束！

简易网页采集器

#UA：User-Agent (请求载体的身份标识)
"""
UA检测：门户网站的服务器会检测对应请求的载体身份标识，如果监测到请求
的载体身份表示为某一款浏览器的，则说明该请求是一个正常的请求，但是，
如果检测到请求的载体身份标识不是基于某一款浏览器的，则表示为不正常的请求（爬虫），
则服务端就很有可能拒绝该次请求。
"""
#UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器

import requests
#UA伪装：将对应的User-Agent封装到一个字典中。
#user-agent获取：页面--检查--network--下面列表栏，随便点击一行--在Headers下找到user-agent
headers = {
   
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.57'
}
#地址栏中主要信息为下面字符串，至query=‘搜索关键词’
url = 'https://www.sogou.com/web'#缺少参数，为动态
#处理url携带的参数，封装到字典中
kw = input('enter a word:')
param = {
   
    'query':kw
}
#对指定的url发起的请求对应的url是携带参数的，并且请求过程中处理了参数
response = requests.get(url=url,params=param,headers=headers)

page_text = response.text
fileName = kw+'.html'
with open(fileName,'w',encoding='utf-8') as fp:
    fp.write(page_text)
print(fileName,'保存成功！')

破解百度翻译

#post请求（携带了参数）
#响应数据是一组json数据
import requests
import json
#1.指定url
post_url = 'https://fanyi.baidu.com/sug'
#2.进行UA伪装
headers = {
   
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.57'
}
#3.post请求参数处理（同get请求）
word = input('enter a word:')
data = {
   
    'kw':word
}
#4.请求发送
response = requests.post(url=post_url,data=data,headers=headers)
#5.获取响应数据,json返回的object对象（如果确认响应数据是json类型，才能使用json)
dic_obj = response.json()
#进行持久存储
fileName = word+'.json'
fp = open(fileName,'w',encoding='utf-8')
json.dump(dic_obj,fp=fp,ensure_ascii=False)

print('over!')

enter a word:dog
over!

豆瓣电影爬取

import requests
import json
url = 'https://movie.douban.com/j/chart/top_list'
param = {
   
    'type': '24',
    'interval_id': '100:90',
    'action': '',
    'start': '0', #从库中的第几部电影去取
    'limit': '20', #一次取出的个数
}
headers = {
   
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.57'
}
response = requests.get(url=url,params=param,headers=headers)

list_data = response.json()

fp = open('./douban.json','w',encoding='utf-8')
json.dump(list_data,fp=fp,ensure_ascii=False)

print('over!')

over!

import requests
import json

url = 'http://www.kfc.com.cn/kfccda/storelist/index.aspx'
param = {
   
    'cname': '', 
    'pid':'',
    'keyword': '上海',
    'pageIndex': '1',
    'pageSize': '10'
}

headers = {
   
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60'
}

response = requests.post(url=url,params=param,headers=headers)

page_text = response.text

with open('./KFC.html','w',encoding='utf-8') as fp:
    fp.write(page_text)
print('保存成功！')

保存成功！

中国国药监局信息爬取 - 综合

import requests
import json

url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'
headers = {
   
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36 Edg/87.0.664.60'
}
id_list = [] #存储企业的ID
all_data_list = [] #存储所有的企业详情数据

for page in range(1,6):
    page = str(page)
    data_param = {
   
    'on': 'true',
    'page': page,
    'pageSize': '15',
    'productName':'',
    'conditionType':