爬虫
loonslo_
励志搬砖中
展开
-
python scrapy爬取智联招聘全站的公司和职位信息(三)
items类说明items用法在scrapy中,items是保存结构数据的地方,scrapy将解析结果以字典形式返回下面是scrapy默认给我们创建的items.py文件class ZhaopinItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field()...原创 2019-04-13 15:42:59 · 639 阅读 · 3 评论 -
python scrapy爬取智联招聘全站的公司和职位信息(二)
从网页中提取相关信息**公司页面**: 公司的url,公司名称,规模,行业,在招岗位数量,邀面试数1. 在scrapy shell中调试在terminal/CMD中输入scrapy shell2019-04-08 22:32:43 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023[s...原创 2019-04-09 00:29:25 · 1418 阅读 · 0 评论 -
python scrapy爬取智联招聘的公司和职位信息(一)
缘由: 最近在找工作发现智联和51上太多培训机构的虚假招聘信息,于是乎打算写个爬虫看看,培训机构到底发布了多少虚假岗位一、 创建scrapy项目安装scrapy在终端/cmd输入pip install scrapy创建项目**IDE推荐使用pycharm在cmd/终端输入 (zhaopin为项目的名称) scrapy startproject zhaopin (zha...原创 2019-04-08 21:58:33 · 1512 阅读 · 2 评论 -
用最沙雕的方式爬取智联招聘全站职位信息
承接上文的奇思妙想这应该是目前我想到的最沙雕,最简单的遍历全站职位的方式先随便打开一个智联的职位,往下拉取可以看到一个相似推荐我在写scrapy爬取智联的时候,突然发现这个相似推荐竟然是js异步加载的…(难怪我爬半天没找到数据)![在这里插入图片描述](https://img-blog.csdnimg.cn/20190414153308284.png?x-oss-process=imag...原创 2019-04-14 15:54:20 · 1873 阅读 · 1 评论 -
入门级爬虫-17k小说站爬取指定小说
执行py文件前,需要先安装这2个包pip install beautifulsoup4pip install requests#!/usr/bin/env python3.7# -*- coding: utf-8 -*# author by slofrom bs4 import BeautifulSoupimport requestsclass DownLoader(obj...原创 2019-04-22 00:55:42 · 591 阅读 · 0 评论 -
leecode刷题笔记 21. 合并两个有序链表
将两个有序链表合并为一个新的有序链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。示例:输入:1->2->4, 1->3->4输出:1->1->2->3->4->4思路:直接使用递归即可# Definition for singly-linked list.# class ListNode:# def __...原创 2019-04-28 23:49:31 · 187 阅读 · 0 评论