怪猫訷-CSDN博客

原创 python 连接redis

连接Redis安装redis-py pip install redis 连接redis import redis r=redis.StrictRedis(host='127.0.0.1',port=6379,db=0) String的操作 import redis class TestString(): def __init__(self): self.r=redis.StrictR...

2020-07-21 14:52:36 288

一.创建项目1.先cd到项目放置的文件夹 # pycharm 或者cmd都可以2.执行命令 scrapy startproject Novels2 # Novels2 表示项目名字3.cd Novels2 # 进入到项目文件夹4.scrapy genspider example example.com # example 就是爬虫的名字 example.com需要爬取的网站的域名二.配置settings.py1.第20行 ROBOTSTXT_OBEY = False # 默认true，

2020-07-21 14:13:22 303

原创 Scrapy框架架构---学习笔记

Scrapy框架架构Scrapy框架介绍：写一个爬虫，需要做很多的事情。比如：发送网络请求、数据解析、数据存储、反反爬虫机制（更换ip代理、设置请求头等）、异步请求等。这些工作如果每次都要自己从零开始写的话，比较浪费时间。因此Scrapy把一些基础的东西封装好了，在他上面写爬虫可以变的更加的高效（爬取效率和开发效率）。因此真正在公司里，一些上了量的爬虫，都是使用Scrapy框架来解决。Scrapy架构图：流程图（1）：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img

2020-07-21 14:10:31 308

原创 scrapy导出数据到mongodb

# -*- coding: utf-8 -*-import jsonimport pymongofrom scrapy.exporters import JsonItemExporter,JsonLinesItemExporter# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: https://doc.scrapy.org/en/la

2020-07-21 14:02:53 183

原创 java Set集合类

Set集合类1. 基本使用特点: 无序无重复、建-值方式存储、key不重复，重复时以最后一次修改为准、value可以重复 map key-value index-object put(objcet) 添加,当key值相同时相当于修改 get(key) 得到 remove(index) 删除 size() 长度 toString() 可视化package unit_o...

2019-03-18 11:07:38 158

原创 java List接口

List接口添加 add删除 remove(index)修改 set(index, object)长度 size得到 get(index) 从零开始返回对象索引 indexOf(object)List可视化 toString()

2019-03-18 11:06:41 217

原创 Django中不同view视图的交互

一.某个事件发生的起因（可跳过）在给朋友写一个 selenium 简单脚本时，考虑到客户角度来讲，绝对不能丢给他一个cmd终端，让他在一个黑呼呼的窗口进行交互设置。但是博主又没有学过pyqt5，重新学的话又需要一些时间。想到 jupyter notebook 可以用web网页可以进行控制，博主也会用html+css+js做一些简单的交互，也许可以用web做一些简单的交互页面！博主做的脚本并...

2019-03-10 14:44:56 1460

怪猫訷的博客