北清python_GitHub - applenob/intern: 使用python爬取水木清华和北大未名的实习信息，在微信客户端进行展示。...

软微实习小助手(微信公众号)

##软件介绍：

实习小助手专注于爬取北大未名、清华水木的高端实习信息，可以按类查询并提供推送功能，确保您第一时间获悉最新的实习信息

##系统部署：

解决依赖：

python 2.7 + node 4.x:

sudo apt-get install python2.7 python2.7-dev python-pip

sudo apt-get install libxml2-dev libxml2 libxslt1.1 libxslt1-dev zlib1g-dev zlib1g phantomjs

pip install w3lib lxml cssselect twisted selenium bs4 pymongo

pip install pydispatch pydispacher

pip install scrapy

node依赖：

cd wxserver && npm install

启动爬虫:

cd intern

scrapy crawl bdwm (北大未名bbs Intern区爬取指令)

scrapy crawl sm (清华水木社区 Intern区爬取指令)

启动服务器：

cd wxserver && node weixin.js

服务器中内置自动爬取任务管理

注意：phantomjs在ubuntu下直接使用apt安装，会导致功能不全，需要去官网下载安装

##使用帮助：

进入自行搭建的公众号或扫描上图即可使用

分开发、算法、金融三类查看

查看职位列表效果

查看具体职位

可跳转至原始链接

##开发人员信息：

陈俊文 applenob

李今晖 jinhuiLee