网页爬虫开发基础实验
1.掌握使用Request库生成GET请求、Request库上传请求头中的User-Agent(信息),Request库查看返回的响应头、Request库查看返回的状态码、以及Request库和chardet库识别返回的页面内容编码,并正确显示页面内容。2.掌握Xpath的语法知识、etree模块的使用方法以及在动态网页种直接获取Xpath路径方法。3.掌握使用Beautiful Soup库搜索文档树中的节点,掌握使用Beautiful Soup库提取搜索到的节点中的文本内容。4.掌握综合运用Requ
复制链接