模拟某个浏览器抓取数据

2019独角兽企业重金招聘Python工程师标准>>>

 模拟某个浏览器抓取数据，要与浏览器中的header里的属性保持一致
 抓取数据思路:

访问url链接（发送请求） -> 获取网页版的html（获取页面） -> 对html进行解析（解析页面）

  -> 解析后获取相应的数据并写入新的文件（抽取并存储内容）

  分享学习计划:    
  1.学习 Python 包并实现基本的爬虫过程

  2.了解非结构化数据的存储

 3.学习scrapy，搭建工程化爬虫

 4.学习数据库知识，应对大规模数据存储与提取

 5.掌握各种技巧，应对特殊网站的反爬措施

 6.分布式爬虫，实现大规模并发采集，提升效率

仅分享思路，若要阅览完整Demo实例的话，可参照以下链接:

http://blog.csdn.net/bo_wen_/article/details/50868339

转载于:https://my.oschina.net/u/3378039/blog/1601580