Circle_list的博客

import urllib.requestfrom lxml import etreefrom urllib import parseclass Image(): def __init__(self,url): self.url = url self.headers = {"User-Agent" : "Mozilla/5.0 (Macintosh...

主要目的是为了使用代理，以及模拟的useragent1：在settings.py 文件中设置DOWNLOADER_MIDDLEWARES = {    'xxx.middlewares.RandomUserAgent': 100,    'xxx.middlewares.RandomProxy': 200,}模拟的USER_AGENTSUSER_AGENTS = [    'Mozilla/4.0...

1：在settings.py 文件中设置# MONGODB 主机名                  MONGODB_HOST = "127.0.0.1"                                          # MONGODB 端口号                  MONGODB_PORT = 27017                              ...

在自己的爬虫处理文件中的应用：import scrapy# 导入CrawlSpider类和Rulefrom scrapy.spiders import CrawlSpider, Rule# 导入链接规则匹配类，用来提取符合规则的连接from scrapy.linkextractors import LinkExtractorfrom xxxxSpider.items import xxxItemc...

1：在setting.py 中设置文件存放的路径IMAGES_STORE = "/home/xx/xx/xx/images/"2：在pipelines.py 文件代码import scrapy                                                                                                        ...

#-*- coding:utf-8 -*-import urllib.requestimport reclass Spider: def __init__(self,page=""): self.page = page self.switch = True def loadPage(self,page): self.p...

import http.cookiejarimport urllib.requestfrom urllib import parse#通过http.cookiejar.CookieJar() 构建一个cookieJar对象，用来保存cookie的值cookie = http.cookiejar.CookieJar()#通过 HTTPCookieProcessor 来处理器来构建一个...

scrapy startproject mySpider  创建爬虫scrapy crawl myspider  运行代码scrapy crawl myspider -o myspider.json  将服务器的内容生成json文件爬虫的目录结构：└── mySpider   ├── mySpider   │   ├── __init__.py   │   ├── items.py   │   ├...

import urllib.requestproxyswitch = True#创建一个代理对象httpproxy_handler = urllib.request.ProxyHandler({"http":"203.174.112.13:3128"})nullproxy_handler = urllib.request.ProxyHandler({})# 调用build_open...

import urllib.requesturl = "http://www.baidu.com"#构建一个HTTPHandler处理器对象，支持处理HTTP的请求http_handler = urllib.request.HTTPHandler()#构建一个自定义的opener对象，参数是构建的处理器对象opener = urllib.request.build_opener...

#-*- coding:utf-8 -*-import urllibfrom urllib import parse,requestdef writePage(html,filename):'''将获取的内容写入文件''' print("keep file....") print(type(html)) #这里的html类型是bytes 写文件的时候要设置类型是wb+ with ...

http://tool.chinaz.com/Tools/urlencode.aspx# url编解码在线工具ZhaoLong#-*-coding:utf-8 -*-import urllib.requestimport randomurl = "http://www.baidu.com"ua_list = [ "Mozilla/5.0 (Macintosh; I...

import urllib.requestimport requestsimport jsonfrom lxml import etreeurl = "http://www.qiushibaike.com/8hr/page/2/"headers = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1;...

创建django项目的方法：https://www.cnblogs.com/xuancaolinxia/p/5677503.htmlmysql 安装配置https://www.2cto.com/database/201612/577717.htmlmysql -uroot -p 使用root 进入数据库show database; 查看当前的库create database test2 chars...