关闭

豆瓣相册图片爬虫

FrmMain.csusing System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System.Text; using System.Windows.Forms; using S...
阅读(130) 评论(0)

豆瓣API查询和显示图书的信息

第一步:GetDataSource.cs类,用来通过HTTP协议从网络获取json文件,并通过文件流操作将json转化为string类型返回第二步:通过c#语言在visual studio上画图形界面第三步:引用”using Newtonsoft.Json.Linq;”,使用JObject来解析返回的string类型的json文件,获取符合关键字”q”的所有图书 遍历文件获取图书信息,将内容添加带...
阅读(231) 评论(0)

Python3实现豆瓣读书爬虫

doubanSpider.py# -*- coding: UTF-8 -*-import sys import time import urllib import requests import numpy as np from bs4 import BeautifulSoup from openpyxl import Workbook# Some User Agents hds = [{'User...
阅读(1293) 评论(0)

网易新闻排行榜爬虫

一些说明: 使用urllib或requests包来爬取页面。 使用正则表达式分析一级页面,使用Xpath来分析二级页面。 将得到的标题和链接,保存为本地文件。 NewsSpider.py代码:import os import sys import urllib import requests import re from lxml import etree def StringListSave(sa...
阅读(363) 评论(0)

豆瓣电影排行榜爬虫

Model层DBModel.cs代码: public class DBModel { public int r { get; set; } public Res res { get; set; } public Status status { get; set; } } public class Res {...
阅读(602) 评论(0)

C#实现爬取淘宝商品

Program.cs代码: class Program { static void Main(string[] args) { string URL = @"https://s.taobao.com/search?q={0}&s={1}"; Console.WriteLine("请输入你要查找的商品:");...
阅读(793) 评论(0)

超简单BeautifulSoup版Csdn博客(摘要视图)爬虫

csdnSpider.py代码import bs4 import requestsorigin = 'http://blog.csdn.net' user_agent = ('Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')he...
阅读(1091) 评论(0)

爬拉勾网数据,存Elasticsearch进行归类分析

main.py代码如下: import requests import json from elasticsearch import Elasticsearch from datetime import datetime from queue import Queue from threading import Thread import time import random class...
阅读(759) 评论(0)

抓取拉勾上的招聘信息

Program.csusing System; using System.Collections.Generic; using System.IO; using System.Linq; using System.Net; using System.Net.Security; using System.Security.Cryptography.X509Certificates; using Sys...
阅读(683) 评论(0)

爬取美女图片

import urllib, re, sys, os,requests path=r"D:\360Downloads\beautify\MM" url = 'http://huaban.com/favorite/beauty' i_headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KH...
阅读(1446) 评论(0)

超简单Nsoup版Csdn博客爬虫

自己摸索,.NET程序员也有春天 using System; using System.Collections.Generic; using System.IO; using System.Linq; using System.Net; using System.Text; using Microsoft.SqlServer.Management.Common; using Microsoft....
阅读(959) 评论(0)
    个人资料
    • 访问:893848次
    • 积分:13005
    • 等级:
    • 排名:第1092名
    • 原创:307篇
    • 转载:439篇
    • 译文:56篇
    • 评论:93条
    博客专栏
    文章分类
    打赏
    如果你觉得我的文章对您有用,请随意打赏。 微信 支付宝