lanzhen001的博客

文章目录一、文件导出到本地：1.1、导出为txt1.2、导出为csv二、scrapy2.1 运行命令2.2 导入报错三、网页检查时看到数据，但是写代码时无数据四、获取内容是位数问题五、标签格式问题5.1标签取不全，级别搞错。5.2 所选标签中有乱入的六、网页查找标签时的快捷键7、requests+bs4爬虫时一些细节（整理）一、文件导出到本地：1.1、导出为txt1.1.1 导出时覆盖原有内容：w：清楚原有内容，重新写入a：追加写入1.1.2 文件乱码加入encoding = 'utf-8’

文章目录前言正文1、分析网页2、开始编写代码2.1 基本信息获取2.1.1构造主页信息函数：2.1.2 构造获取省份、城市地区的信息函数：2.1.3 获取底层网页信息2.1.4 获取信息2.2 主函数3、总结前言看看生猪价格，确定后面饭桌的菜肴。。。话不多说，练习开始。。。正文1、分析网页如图，从网页结构看，数据是分省份，城市地区的，爬虫如果要做到获取不同省份，不同城市地区的完整信息，先要做一次筛选，获取各省份，各城市地区的链接筛选后的网页：最终信息所在的页面显示，这里就是想要获取的信息

文章目录1、想要获取的信息2、所使用的方法：3、网页分析4、开始编写程序4.1 导入模块4.2 构造翻页4.3 获取热门电影的名称，评分，ID，网页链接4.3 获取每部电影的具体信息，如导演，演员，片长，上映日期等5、附完整代码1、想要获取的信息1.1 获取豆瓣电影中热门电影名称，评分，ID，网页链接 ；1.2 获取每部电影的具体信息，如导演，演员，片长，上映日期等；1.3 所获取的信息存放在csv文件中。2、所使用的方法： requesets+bs43、网页分析通过网页翻页浏览，确认网