weixin_43797991的博客

原创 python爬虫之数据爬取项目实例

scrapy爬取数据+Spark数据统计 scrapy数据爬取 目的： 1、网页url：https://ke.qq.com/course/list?mt=1001&page=1 2、爬取分页1-5 3、爬取字段： course = scrapy.Field() #课程名称 ./h4/a/text() schedule = scrapy.Field() #课程进度 ./div1/span/text() company = scrapy.Field() #开课机构 ./div1/a/t