爬虫

最新推荐文章于 2024-06-18 22:59:56 发布

来杯柠檬茶

最新推荐文章于 2024-06-18 22:59:56 发布

阅读量2.2k

点赞数 1

分类专栏：爬虫文章标签：爬虫

本文链接：https://blog.csdn.net/tom199611/article/details/103055792

版权

爬虫专栏收录该内容

1 篇文章 0 订阅

订阅专栏

scrapy startproject xxxx

dos进入爬虫项目，创建单个爬虫

scrapy genspider xxx xxx.com

启动
scrapy crawl name

添加cookies 访问网站
scrapy 需要的cookies格式
{a:b,c:d }

scrapy添加一个start_request函数，在请求http时每次都会执行

        cookies = 'SINAGLOBAL=2365626625392.585.1570796110890; 
        UM_distinctid=16dc2c7f446236-0c0; 
        _s_tentry=www.baidu.com; '
        cookies = {i.split('=')[0] :i.split('=')[1] for i in cookies.split(';')}
        yield scrapy.Request(self.start_urls[0],cookies=cookies)

.extract_first()
去除标签，提取标签的文本内容

mongdb 转csv文件：
进入mongdo 客户端

mongoexport -d 数据库名称 -c 集合 -f _id,1号表头,2号表头,3号表头 --csv -o ./文件名称.csv