学习资料

import requests
if __name__ == '__main__':
    #step1:指定url
    url='https://www.sogou.com/'
    #step2：发起请求
    #get方法会返回一个响应对象
    res=requests.get(url=url)
    #step3:获取相应数据.text返回的是以字符串形式的
    page=res.text
    print(page)
    #step4:持久化存储
    with open('./sogou.html','w',encoding='utf-8')as fp:
        fp.write(page)
    print("爬取数据结束")

简单的网页采集器 搜索引擎

import requests
if __name__ == '__main__':
    url='https://www.sogou.com/sie?'
    #处理url携带的参数：封装到字典中
    kw=input('enter a word:')
    param={
        'query':kw
    }
    #对指定url发起的请求是携带参数的url是携带参数的
    res=requests.get(url=url,params=param)
    passs=res.text
    print(passs)
    fileName=kw+'.html'
    with open(fileName,'w',encoding='utf-8') as fp:
    	fp.write(passs.text)
    print(fileName,'保存成功！！！！')
    

ps：输入空姐，则在网页中搜索空姐

搞定百度翻译

ajax 前端局部刷新
百度翻译，是post请求携带的参数
响应的是json数据

post请求要携带参数

json数据

import requests
import json
if __name__ == '__main__':
    #指定url链接
    post_url='https://fanyi.baidu.com/sug'
    #post请求参数处理（同get请求一致）
    data={
        'kw':'dog'
    }
    # 伪装一下浏览器
    headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0'}
    #请求发送
    res=requests.post(url=post_url,data=data,headers=headers)
    #获取响应数据:json()方法返回一个obj(对象)(如果确认响应数据是json类型的，才可以使用JSON)
    dic_obj=res.json()
    print(dic_obj)
    #持久化存储
    fp=open('./dog.json','w',encoding='utf-8')
    json.dump(dic_obj,fp=fp,ensure_ascii=False)#设置不存在字符模式

ps.可以自定义一个输入函数

爬取豆瓣电影中的详细数据

网址：https://movie.douban.com/j/chart/top_list?type=24&interval_id=100%3A90&action=&start=100&limit=20

因为是json异步加载数据

import requests
import json
if __name__ == '__main__':
    url='https://movie.douban.com/j/chart/top_list'
    param={
        "type": "24",
        "interval_id": "100:90",
        "action": "",
        "start": "1",#从库中的第几部电影去取
        "limit": "20",#一次取出的个数
    }
    headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0'}
    req=requests.get(url=url,params=param,headers=headers)
    li_data=req.json()#json返回一个列表
    fp=open('./douban.json','w',encoding='utf-8')
    json.dump(li_data,fp=fp,ensure_ascii=False)#避免出现字符型数据
    print('over!!!')

练习肯德基餐厅查询

import requests
if __name__ == '__main__':
    url='http://www.kfc.com.cn/kfccda/storelist/index.aspx'
    headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0'}
    param={
        "keyword": "青岛",
        "pageIndex": "1",
        "pageSize": "10",
    }
    response=requests.get(url=url,params=param,headers=headers)
    list_data=response.text
    print(list_data)

爬取化妆品管理信息平台url=http://scxk.nmpa.gov.cn:81/xk/

因为网页中有很多链接，每一个id代表一个公司的详细数据所以要访问每一个链接
先把所有的id打印出来

import requests
import json
if __name__ == '__main__':
    #批量获取不同企业的id值
    url='http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'
    #参数的封装
    data={"on":"true",
          "page":"1",
          "pageSize":"15",
          "productName":"",
          "conditionType":"1",
          "applyname":"",
          "applysn":"",}
    headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0'}
    id_list = []  # 存储企业的id
    json_ids=requests.post(url=url,headers=headers,data=data).json()
    for dic in json_ids['list']:
        id_list.append(dic['ID'])#append字典的添加
    #获取企业详情数据
    post_url='http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsById'
    for id in id_list:
        data={
            'id':id
        }
    data_json=requests.post(url=post_url,data=data,headers=headers).json()
    print(data_json,'----------------------------')