爬虫项目过程

最新推荐文章于 2022-10-30 15:35:45 发布

202danding

最新推荐文章于 2022-10-30 15:35:45 发布

阅读量214

点赞数

分类专栏：爬虫文章标签： python

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_51459486/article/details/109534401

版权

爬虫专栏收录该内容

3 篇文章 0 订阅

订阅专栏

爬虫项目

项目名字
- request+selenium爬虫
项目周期
项目介绍
- 爬了XXXXX，XXX，XXX，等网站，获取网站上的XXX，XXX，XXX，数据，每个月定时抓取XXX数据，使用该数据实现了XXX，XXX，XX，
开发环境
- linux+pycharm+requests+mongodb+redis+crontab+scrapy_redis+ scarpy + mysql+gevent+celery+threading
使用技术
- 使用requests…把数据存储在mongodb中
- 使用crontab实现程序的定时启动抓取
- url地址的去重
  - 使用redis的集合，把request对象的XXX字段通过sha1生成指纹，放入redis的集合中进行去重，实现基于url地址的增量式爬虫
  - 布隆过滤
- 对数据的去重
  - 把数据的XXX字段通过sha1生成指纹，放入redis的集合中进行去重，实现增量式爬虫
- 反扒
  - 代理ip
    - 购买了第三的代理ip，组成代理ip池，其中的ip没两天更新一次，同时使用单独的程序来检查代理ip的可用
  - cookie
    - 准备了XX个账号，使用requests获取账号的对应的cookie，存储在redis中，后续发送请求的时候随机选择cookie
    - 使用selenium来进行模拟登陆，获取cookie，保存在Redis中
  - 数据通过js生成
    - 分析js，通过chrome浏览器定位js的位置，寻找js生成数据的方式
    - 通过selenium来模拟页面的加载内容，获取页面动态加载后的数据
- 提高爬虫效率
  - 使用多线，线程池，协程，celery来完成爬虫
  - 使用scrapy框架来实现爬虫，
    - 不能断点续爬，请求过的url地址不能持久化
      - 使用scrapy_redis
    - 不能对数据进行去重
      - 把数据的XXX字段通过sha1生成指纹，放入redis的集合中进行去重，实现增量式爬虫
  - scrapy_redis
    - domz实现增量式，持久化的爬虫
    - 实现分布式爬虫
项目名字
- scarpy爬虫
项目周期
项目介绍
- 爬了XXXXX，XXX，XXX，等网站，获取网站上的XXX，XXX，XXX，数据，每个月定时抓取XXX数据，使用该数据实现了XXX，XXX，XX，
开发环境
- linux+pycharm+requests+mongodb+redis+crontab+scrapy_redis+ scarpy + mysql+gevent+celery+threading
使用技术
- 使用requests…把数据存储在mongodb中
- 使用crontab实现程序的定时启动抓取
- url地址的去重
  - 使用redis的集合，把request对象的XXX字段通过sha1生成指纹，放入redis的集合中进行去重，实现基于url地址的增量式爬虫
  - 布隆过滤
- 对数据的去重
  - 把数据的XXX字段通过sha1生成指纹，放入redis的集合中进行去重，实现增量式爬虫
- 反扒
  - 代理ip
    - 购买了第三的代理ip，组成代理ip池，其中的ip没两天更新一次，同时使用单独的程序来检查代理ip的可用
  - cookie
    - 准备了XX个账号，使用requests获取账号的对应的cookie，存储在redis中，后续发送请求的时候随机选择cookie
    - 使用selenium来进行模拟登陆，获取cookie，保存在Redis中
  - 数据通过js生成
    - 分析js，通过chrome浏览器定位js的位置，寻找js生成数据的方式
    - 通过selenium来模拟页面的加载内容，获取页面动态加载后的数据
- 提高爬虫效率
  - 使用多线，线程池，协程，celery来完成爬虫
  - 使用scrapy框架来实现爬虫，
    - 不能断点续爬，请求过的url地址不能持久化
      - 使用scrapy_redis
    - 不能对数据进行去重
      - 把数据的XXX字段通过sha1生成指纹，放入redis的集合中进行去重，实现增量式爬虫
  - scrapy_redis
    - domz实现增量式，持久化的爬虫
    - 实现分布式爬虫

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
爬虫项目过程

爬虫项目项目名字request+selenium爬虫项目周期项目介绍爬了XXXXX，XXX，XXX，等网站，获取网站上的XXX，XXX，XXX，数据，每个月定时抓取XXX数据，使用该数据实现了XXX，XXX，XX，开发环境linux+pycharm+requests+mongodb+redis+crontab+scrapy_redis+ scarpy + mysql+gevent+celery+threading使用技术使用requests…把数据存储在m
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。