使用说明:
Python需要安装好Scrapy、pymongo、json、base64、requests。
Master机只需要安装好Redis即可(内存要求大点),Slaver机需要安装python环境和MongoDB来存储数据。如果想要将数据都存储到一台机子上,直接改一下爬虫程序(pipeline)里面MongoDB的IP即可,或者建议搭建一个MongoDB集群。Redis和MongoDB都是安装好即可,不需要配置。
将你用来登录的微博账号和密码加入到 cookies.py 文件中,里面已经有两个账号作为格式参考了。
可以修改scrapy里面setting的设置,例如间隔时间、日志级别、redis的IP等等。
以上配置完以后运行 Begin.py 即可。重申Master机不需要跑程序,它的功能是利用Redis进行任务调度。Slaver机跑爬虫,新增一台Slaver机,只需要把python环境和MongoDB搭建好,然后将代码复制过去直接运行就行了。
项目源码
encoding=utf-8
import json
import base64
import requests
“”"
输入你的微博账号和密码,可去淘宝买,一元七个。
建议买几十个,微博反扒的厉害,太频繁了会出现302转移。
或者你也可以把时间间隔调大点。
“”"
myWeiBo = [
{‘no’: ‘jiadieyuso3319@163.com’, ‘psw’: ‘a123456’},
{‘no’: ‘shudieful3618@163.com’, ‘psw’: ‘a123456’},
]
def getCookies(weibo):
“”" 获取Cookies “”"
cookies = []
loginURL = r’https://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.15)’
for elem in weibo:
account = elem[‘no’]
password = elem[‘psw’]
username = base64.b64encode(account.encode(‘utf-8’)).decode(‘utf-8’)
postData = {
“entry”: “sso”,
“gateway”: “1”,
“from”: “null”,
“savestate”: “30”,
“useticket”: “0”,
“pagerefer”: “”,
“vsnf”: “1”,
“su”: username,
“service”: “sso”,
“sp”: password,
“sr”: “1440*900”,
“encoding”: “UTF-8”,
最后
不知道你们用的什么环境,我一般都是用的Python3.6环境和pycharm解释器,没有软件,或者没有资料,没人解答问题,都可以免费领取(包括今天的代码),过几天我还会做个视频教程出来,有需要也可以领取~
给大家准备的学习资料包括但不限于:
Python 环境、pycharm编辑器/永久激活/翻译插件
python 零基础视频教程
Python 界面开发实战教程
Python 爬虫实战教程
Python 数据分析实战教程
python 游戏开发实战教程
Python 电子书100本
Python 学习路线规划
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!