爬取东方财富网可转债数据并清洗

2019年开始可转债进入了黄金时期，2020因为忙活毕业和读研的事一直没什么时间写一写东西，现在重新拿出来之前的代码梳理一下爬虫的思路。

1、确定爬取链接，修改http headers

确定爬取链接很容易，就是你要爬的是哪个网址，这个总得有个数对吧。

http headers 如果不修改的话，里面会写着是python程序发送的请求，随便一个网站做一点反爬措施的话就会拦截我们的请求，

所以还是要改一下headers，伪装成正常的浏览器发送的请求。

2、urllib.request.Request构造请求

urlopen实现对目标url的访问 该函数的返回值就是获取到的网页代码

3、解析网页

如果不解析我们只能得到一个HTTPResponse对象，内部数据拿不到

我们这里通过lxml解析。（如果没有lxml pip install lxml直接安装就可以了）

通过这么几步我们就得到了网页上的静态数据

4、保存到文件

def spider_dongfangcaifu():
    headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'}
    url='http://data.eastmoney.com/kzz/'
    request1=urllib.request.Request(url=url,headers=headers)
    raw_info=urllib.request.urlopen(request1)