Python 爬虫笔记（4）

前面的爬虫笔记学习的都是静态网址的爬取，指的就是一个网页发生变化他的网址就会发生变化。它的网址里面包含了参数。

而动态网页的数据改变时，它的网址是不会发生改变的 ，如：

这时我们就需要去抓去隐藏在里面的数据包，这时的网址应该选择数据包内部的网址。

 双几点开数据包；查看header里面的url

 找到正确的网址之后就是一样的方式添加header伪装浏览器，对服务器进行访问

 其中我们需要注意的是

1、返回的response对象获取文本文件后并不是我们需要的数据其中有一些“脏数据” 其后括号后面才是真正的表格里面的数据，注意需要清理掉前面的东西（用正则表达式）。

2、爬取一个页面的代码无误，但爬取所有页面的代码还在改进中

# -*- coding: utf-8 -*-
"""
Created on Sun Oct 24 13:30:59 2021

@author: x'x'x'z
"""
import pandas as pd
import re
import json
import requests 
#得到一个指定网页的内容
url="http://3.push2.eastmoney.com/api/qt/clist/get?cb=jQuery112404589697507662702_1635034676639&pn=1&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&fid=f3&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152&_=1635034676663"
#构造请求头模拟浏览器，向服务器发送请求（伪装浏览器）
headers={
    ##User-Agent一定要注意大小写和没有空格，#用户代理，表示告诉浏览器，我们是什么类型的机器（本质是告诉浏览器我们可以接受什么水平的文件内容）
    'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.30",
    #像一个门一样，告诉服务器我们是从哪里访问而来，而不是直接跳进来的
    'Referer':"http://quote.eastmoney.com/"
    }
resp=requests.get(url)                   ##返回一个response对象(里面有整个网页的信息)
html=resp.text                      #获取文本文件
#print(resp.text)                        #测试
res=re.findall('\((.*?)\)',html)           #使用正则表达式找到我们需要的东西（第一个“\”表示我们需要遇到第一个“（”）后面的内容
#print(res)                            #测试
datas=json.loads(res[0])['data']['diff']         #使用两个函数，返回一个字典
#print(datas)                        #测试，打印字典data
df=pd.DataFrame(datas)               #构造数据框 
#一行一行删掉我们不需要的列
del df['f1']  
del df['f10'] 
del df['f11'] 
del df['f13'] 
del df['f20']
del df['f21']
del df['f22']
del df['f24']
del df['f25'] 
del df['f62'] 
del df['f115']  
del df['f128'] 
del df['f140'] 
del df['f136'] 
del df['f141'] 
del df['f152'] 
df.columns=["最新价","涨跌幅","涨跌额","成交量","成交额","振幅","换手率","市盈率","代码","名称","最高","最低","今开","昨收","市净率"]             #更改列索引
print(df)
path=r'D:\study\python\沪深A股.xlsx'  #文件保存路径
df.to_excel(path,index=False)   
path = r"D:\study\python"