使用scrapy+mysql爬取拉勾网移动端页面

@hcolde 字数 4061

使用scrapy+mysql爬取拉勾网移动端页面

---

前期准备：

• Python3.6
• virtualenv ( pip install virtualenv )
• Scrapy ( pip install Scrapy )
• PyMySQL ( pip install pymysql )
• Mysql服务器

---

1. 搜索职位页面

https://m.lagou.com/search.json?city=广州&positionName=python&pageNo=1

1.1 参数说明：

• city：搜索的城市
• positionName：职位名称
• pageNo：页码

1.2 返回数据：

1.3数据处理：

• pageSize 每页显示多少个职位信息。 ( json->content->data->page->pageSize )
• totalCount 总共有多少个职位。 ( json->content->data->page->totalCount )
• positionId 职位id，打开职位详情页面需要的参数，返回的类型为int型。 ( json->content->data->page->result[]->positionId )

以上是重要的数据，至于其他数据可选择性收集。

根据pageSize和totalCount可计算需要爬取多少个页面，代码如下：

1. pages = totalPage//pageSize
2. pages = pages+1 if totalPage%pageSize else pages

1.4 操作数据库

1. import pymysql
3. host = '127.0.0.1' # 数据库服务器.
4. user = 'root' # 数据库用户.
5. password = '' # 该用户的密码.
6. dbName = 'lg' # 数据库名.
7. cursor = None
8. tyr:
9. db = pymysql.connect(host=host, user=user, password=password, db=dbName)
10. except Exception as e:
11. print(e)
12. else:
13. cursor = db.cursor() # 创建游标对象.
15. # 创建表.
16. sql = '''
17. CREATE TABLE IF NOT EXISTS `job`(