python任务
~张贵轩
这个作者很懒,什么都没留下…
展开
-
爬取糗事百科
python 任务2爬取糗事百科代码部分:#coding=utf-8import urllib.requestimport ref=open(‘D:/python文件/张贵轩-任务2.txt’,‘a’,encoding=‘utf-8’)try:for page in range(1,11):url = ‘https://www.qiushibaike.com/8hr/page/’...原创 2018-10-21 11:37:32 · 109 阅读 · 1 评论 -
爬取孔夫子旧书网
python任务5coding=utf-8import urllib.requestimport demjsonimport pymysqldb = pymysql.connect(“localhost”,“root”,“zgx675050748”,“RUNOOB”,charset=‘utf8’)cursor = db.cursor()cursor.execute(“DROP TAB...原创 2018-10-29 19:15:28 · 129 阅读 · 0 评论 -
爬取安居客
爬取安居客代码:coding=utf-8import reimport urllib.requestfrom bs4 import BeautifulSoupimport pymysqldb = pymysql.connect(“localhost”,“root”,“zgx675050748”,“RUNOOB”,charset=‘utf8’)cursor = ...原创 2018-11-04 17:59:00 · 115 阅读 · 0 评论 -
爬取小说网小说
python任务3爬取小说网小说coding=utf-8import reimport requestsfrom bs4 import BeautifulSoupimport pymysqldb = pymysql.connect(“localhost”,“root”,“zgx675050748”,“RUNOOB”,charset=‘utf8’)cursor = db.cursor...原创 2018-11-11 13:28:45 · 151 阅读 · 0 评论 -
使用scrapy框架爬取安居客
python任务七使用scrapy框架爬取安居客import requestsfrom scrapy.contrib.spiders import CrawlSpiderimport refrom bs4 import BeautifulSoupimport jsonimport urllib.requestfrom …items import YilongItemclass Y...原创 2018-11-19 18:50:03 · 241 阅读 · 0 评论 -
使用selenium+phaotmjs爬取人民微博
python任务9使用selenium+phaotmjs爬取人民微博from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support i...原创 2018-11-25 14:41:59 · 166 阅读 · 1 评论 -
使用多线程和日志爬取任意网站
python任务10使用多线程和日志爬取任意网站import threadingfrom queue import Queuefrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfr...原创 2018-12-02 12:49:58 · 118 阅读 · 0 评论 -
使用pyspider爬取豆瓣评论
python任务10使用pyspider爬取豆瓣评论#!/usr/bin/env python-- encoding: utf-8 --Created on 2018-12-04 20:30:39Project: doubanfrom pyspider.libs.base_handler import *import MySQLdbimport sysreload(sys)sy...原创 2018-12-09 14:47:42 · 108 阅读 · 1 评论