Deepstudyy的博客

原创 爬虫：东方财富网数据爬取

1、首先构造一个函数download_all_htmls（）爬取网页信息通过request函数根据路径获取网页信息，获得请求网页权限（可通过反爬虫机制来获取），构造空列表htmls来填入网页所对应的字符内容。2、调用download_all_htmls函数获取网页内容3、解析html所获得的相应数据定义一个函数parse_single_html（html）：用beautifulsoup初始化对象，通过目录路径找到目标总体items。读取items里所有的目标内容，通过正则表达式找到对应的目标