爬虫
文章平均质量分 52
段渣渣
这个作者很懒,什么都没留下…
展开
-
淘女郎个人信息爬取
版权声明:未经允许,随意转载,请附上本文链接谢谢(づ ̄3 ̄)づ╭❤~ 淘女郎个人信息爬取淘宝的模特小姐姐们贼好看,就想爬一波小姐姐们的个人信息喽,大致就是这个图片啦 1.寻找接口通过网络请求分析发现是json传递的信息 接口就是“https://v.taobao.com/micromission/req/selectCreatorV3.do” 这个接口的翻页参数是curr...原创 2018-06-27 21:22:57 · 2307 阅读 · 0 评论 -
爬去拉勾网招聘信息
版权声明:未经允许,随意转载,请附上本文链接谢谢(づ ̄3 ̄)づ╭❤~ 爬去拉勾网招聘信息在拉勾网发现他们招聘信息的返回接口是json接口,有这样好的数据接口怎么能不爬那。 平时比较喜欢spark,那就来爬spark的招聘信息然后放到MongoDB里面吧#!/usr/bin/env python3# -*- coding: utf-8 -*-# @Author : Antho...原创 2018-06-27 21:24:18 · 432 阅读 · 0 评论 -
糗事百科爬虫
版权声明:未经允许,随意转载,请附上本文链接谢谢(づ ̄3 ̄)づ╭❤~ 糗事百科爬虫不怎么看糗事百科,用来试一下PyQuery选择器还是好的import requestsfrom lxml import etreeimport timefrom pyquery import PyQueryimport pandas as pddef get_data(page): ...原创 2018-06-27 21:25:13 · 178 阅读 · 0 评论 -
豆瓣书评爬虫
版权声明:未经允许,随意转载,请附上本文链接谢谢(づ ̄3 ̄)づ╭❤~ 豆瓣书评爬虫一年前学的爬虫,忘得差不多了,现在复习一下 最近读了《白夜行》,就拿它下手喽 import requestsfrom lxml import etreeimport pandas as pdimport timedata = []def get_userdata(page): f...原创 2018-06-27 21:26:07 · 1307 阅读 · 1 评论 -
新浪股票信息爬取
版权声明:未经允许,随意转载,请附上本文链接谢谢(づ ̄3 ̄)づ╭❤~ 新浪股票信息爬取老师想要通过数据做股票预测,我那帮老师爬取了一点数据。 大一时候写的代码了,比较蠢。 不做解释了,只贴上当时的代码。留作纪念吧。1. 爬取股票列表如果要爬取各各股票的信息,首先要有股票的代码,所以先爬去股票的编号为后续做准备# -*- coding:UTF-8 -*-import...原创 2018-06-27 21:27:32 · 1473 阅读 · 0 评论