![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据库
倚东
Coding Lover
展开
-
redis牛刀小试 ----requests爬虫
技术要点: 1、python操作redis的基础,如建立连接,插入数据,读取数据等等。 2、爬虫代理的使用。 目标: 爬取拉勾网站数据分析师岗位信息,将公司、薪水、城市及岗位详细信息地址写入redis数据库,然后爬取每个岗位详细信息页面,获取职位诱惑和岗位要求的详细信息,再次写入redis。 import requests import time import random import redi...原创 2019-12-29 21:58:14 · 241 阅读 · 0 评论 -
Scrapy+Mysql+SqlAlchemy爬取招聘网站信息
爬虫目的: 爬取拉勾网站杭州分站的python岗位基本信息和岗位详情,并写入mysql数据库。后附经验总结。 知识点, 1、解析函数多个yield以及多个pipeline的使用 2、Sqlalchemy框架的使用 3、Scrapy FormRequest请求,以及反爬 难点: 岗位详细信息的url不能直接从爬虫返回信息获得,而需要另外构建url。然后通过 request再次请求,以及回调的解析函数...原创 2020-01-08 21:59:07 · 632 阅读 · 0 评论 -
Windows下MongoDB集群搭建示范,包会!
shutdown net stop mongodb 打开一个DOS窗口,输入如下命令,不要关闭窗口 mongod --dbpath D:\MongoDB\Server\4.2\mongocluster\slave2\data --port 27012 --bind_ip 192.168.1.4 --replSet myrs 再打开一个DOS窗口,输入如下命令,不要关闭窗口 mongod --db...原创 2020-01-07 08:24:56 · 600 阅读 · 0 评论