爬虫
weixin_44263474
这个作者很懒,什么都没留下…
展开
-
二手房爬虫图形化界面
首先效果展示: 刚运行的界面 下面源代码部分: from bs4 import BeautifulSoup #网页解析,获取数据 import re #正则表达式,进行文字匹配 import urllib.request,urllib.error,urllib #制定URL,获取网页数据 import xlwt #进行exclel操作 import sqlite3 #进行SQLite数据库操作 import io import sys import csv import requests fro原创 2020-05-20 03:18:00 · 290 阅读 · 1 评论 -
scrapy的一些事
登录可以有以下操作: cookies:` def start_requests(self): cookies = "_s_tentry=-; Apache=1769401044437.5996.1588400454551; SINAGLOBAL=1769401044437.5996.1588400454551; ULV=1588400454765:1:1:1:1769401044437.5996.1588400454551:; login_sid_t=8111d554c0a2d6原创 2020-05-17 01:15:45 · 283 阅读 · 0 评论 -
scrapy框架爬虫爬取网易电子书
笔记: Scrapy 安装: pip install scrapy 若错误显示VC++14.0 Twister,则离线安装pip install ×××.whl 验证是否安装成功:scrapy bench 如果报错显示win32,则pip install pywin32 入门实战: 采集目标:网易电子书 1.创建项目 scrapy startproject xxx(项目名字) 2.创建爬虫 scr...原创 2020-05-06 13:42:16 · 205 阅读 · 0 评论