@hcolde
字数 4061
使用scrapy+mysql爬取拉勾网移动端页面
前期准备:
- Python3.6
- virtualenv ( pip install virtualenv )
- Scrapy ( pip install Scrapy )
- PyMySQL ( pip install pymysql )
- Mysql服务器
1. 搜索职位页面
https://m.lagou.com/search.json?city=广州&positionName=python&pageNo=1
1.1 参数说明:
- city:搜索的城市
- positionName:职位名称
- pageNo:页码
1.2 返回数据:
1.3数据处理:
- pageSize 每页显示多少个职位信息。 ( json->content->data->page->pageSize )
- totalCount 总共有多少个职位。 ( json->content->data->page->totalCount )
- positionId 职位id,打开职位详情页面需要的参数,返回的类型为int型。 ( json->content->data->page->result[]->positionId )
以上是重要的数据,至于其他数据可选择性收集。
根据pageSize和totalCount可计算需要爬取多少个页面,代码如下:
pages = totalPage//pageSize
pages = pages+1 if totalPage%pageSize else pages
1.4 操作数据库
import pymysql
host = '127.0.0.1' # 数据库服务器.
user = 'root' # 数据库用户.
password = '' # 该用户的密码.
dbName = 'lg' # 数据库名.
cursor = None
tyr:
db = pymysql.connect(host=host, user=user, password=password, db=dbName)
except Exception as e:
print(e)
else:
cursor = db.cursor() # 创建游标对象.
# 创建表.
sql = '''
CREATE TABLE IF NOT EXISTS `job`(