dikaonao1977-CSDN博客

转载 django | 连接mysql数据库

django 2.1 + mysql 5.61.在setting中设置DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'test', 'USER': 'root', 'PASSWORD': '123...

2019-03-15 21:37:00 86

转载数据库轮子

1.MONGODBMONGO_URL='localhost'MONGO_DB='image360'import pymongoclass HtestPipeline(object): def process_item(self, item, spider): return itemclass MongoDBPipe...

2019-02-15 20:46:00 160

转载 scrapy | downloader middleware

1.User-Agentscrapy默认的由UserAgentMiddleware设置为 "User-Agent": "Scrapy/1.5.1 (+https://scrapy.org)"一、可以在setting中设置USER-AGENT设置1 USER_AGENT='Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/53...

2019-02-15 14:45:00 121

转载在代理池构建时候出现问题：

在代理池构建时候出现问题：Traceback (most recent call last): File "D:\py_work\ProxyPool-master\proxypool\tester.py", line 32, in test_single_proxy self.redis.max(proxy) File "D:\py_work\ProxyPool-maste...

2019-02-14 16:33:00 162

转载分布式爬虫scrapy_redis

1.from scrapy_redis.spiders import RedisSpider导入依赖包更改继承类2.打开redis服务 redis-server --server-start　　3.修改配置文件#启用Redis调度存储请求队列SCHEDULER = "scrapy_redis.scheduler.Sche...

2019-02-12 23:28:00 107

转载 scrapy_redis配置文件

#启用Redis调度存储请求队列SCHEDULER = "scrapy_redis.scheduler.Scheduler" #确保所有的爬虫通过Redis去重DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" #默认请求序列化使用的是pickle 但是我们可以更改为其他类似的。PS：这玩意儿2...

2019-02-12 22:56:00 87

转载 python随练 | 巨Low版本彩票系统小练

#coding=utf-8_date_ = '2018/12/22 11:13'"""彩票系统1.买彩票记录2.生成彩票3.对比中奖用户"""import loggingimport randomclass lottery(): def in_num(self): """ 输入彩票的位数 ...

2018-12-22 16:07:00 106

转载 Python基础练习 | 递归杨辉三角

"""杨辉三角11 11 2 11 3 3 11 4 6 4 11 5 10 10 5 1"""def yanghuisanjiao(i,j): """ :param i：行 :param j: 列 :return: """ if i==j or j==1: return...

2018-12-22 15:19:00 689

转载 Python | 关系数据库mysql基本操作练习

import pymysql"""1.创建数据库"""db=pymysql.connect(host='localhost',user='root',password='123456',port=3306) #连接mysqlcursor=db.cursor() #z设置光标sql='CREATE DATABASE pymysql_test' #sql语句cu...

2018-12-11 19:20:00 84

转载爬虫练习 | 爬取猫眼电影Top100

#coding=utf-8_date_ = '2018/12/9 16:18'import requestsimport reimport jsonimport timedef get_one_page(url): headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; ...

2018-12-09 17:36:00 219

转载 scrapy | Mongo DB 配置

class MonggoPipline(object): def __init__(self,mongo_uri,mongo_db): self.mongo_uri=mongo_uri self.mongo_db=mongo_db @classmethod def from_crawler(cls,crawler)...

2018-12-09 16:16:00 85

转载爬虫 | 准备库的安装

1.请求库的安装1.1 requests请求库　　　pip install requests1.2 selenium的安装selenium是一种自动化测试工具，可以用来驱动预览器执行任务。pip install selenium　　selenium需要和预览器进行配合，我下载的是无头预览器，phantomjs　　下载地址：http://phan...

2018-12-05 22:49:00 95

转载【软件安装故障排除】安装完PyCharm，启动时弹出"Failed to load JVM DLL\bin\server\jvm.dll"解决方案...

问题描述：打开PyCharm时，弹出“Failed to load JVM DLL\bin\server\jvm.dll if you already have a 32-bit JDK install....”解决方案：别人的解决方案：（1）安装Microsoft Visual C++ 2010 Redistributable Package ；（2）然后再运行py...

2018-12-05 18:33:00 1813

转载 window dos基本操作命令介绍

1 echo 和 @回显命令@ #关闭单行回显echo off #从下一行开始关闭回显@echo off #从本行开始关闭回显。一般批处理第一行都是这个echo on #从下一行开始打开回显echo #显示当...

2018-12-04 23:37:00 80

转载爬虫 | Requests: 让 HTTP 服务人类

Requests官方文档： http://cn.python-requests.org/zh_CN/latest/例子：获取豆瓣短评页面源代码import requestsurl='https://book.douban.com/subject/1084336/reviews'html = requests.get(url,timeout=20).text...

2018-12-04 20:16:00 118

转载线性表

定义：某类元素的一个集合，并且存在元素之间的一种的顺序关系。不含有任何元素的表为空表，长度为0。表存在一种关系，即为下一关系例子：L=(e0,e1,e2,e3…en-1) n>=0　　下一关系为一个二元组的集合 {<e0,e1><e1,e2><e2,e3>…<en-2,en-1>}　　　下一关系为一...

2018-12-03 22:41:00 76

转载爬虫基础知识

查看网页请求以chrome浏览器为例，在网页上点击鼠标右键，检查（或者直接F12），选择network，刷新页面，选择ALL下面的第一个链接，这样就可以看到网页的各种请求信息。请求头（Request Headers）信息详解：Accept: text/html,image/*(浏览器可以接收的类型) Accept-Charset: ISO-8859-1(浏览器可以接收的编...

2018-12-03 22:06:00 93

转载 jQuery选择器

1.给网页所有<p>标签加上点击事件.<!DOCTYPE html><html><head><title>test</title><script src="https://lib.sinaapp.com/js/jquery/2.0.2/jquery-2.0.2.min.js">...

2018-12-03 21:57:00 84

dikaonao1977的博客