python 爬虫入门到放弃(五)scrapy设置代理池和ua代理

scrapy设置代理池知识点回顾scrapy遇到了10060或者ip被封禁的问题scrapy设置ip代理和ua代理接下来我们要修改settings文件修改中间件文件middlewares最后在settings文件中修改总结 知识点回顾 首先那我们先回顾一下scrapy项目的创立,命令是:` ...

2019-01-08 11:35:28

阅读数 254

评论数 2

爬虫从入门到放弃(四),爬取你心目中的女神(校花网)

本次用scrapy框架来写一个爬虫,首先那,我们要在终端创建一个scrapy项目. 命令是:scrapy startproject +项目名字 第二步,我们cd进文件夹,命令是 cd 文件名 第三步,我们要创建一个爬虫 命令是:scrapy genspider +爬虫的名字 +初始化URL,这里的...

2018-12-25 09:35:08

阅读数 62

评论数 0

爬虫入门到放弃(三) 爬取格言网并储存到数据库

代码送上,请各位点下关注,本人也会持续更新各种技术 # -*- coding:utf-8 -*- from bs4 import BeautifulSoup import requests import pymysql #定义目标网站url url='https://www.geyanw.com/...

2018-12-19 09:18:29

阅读数 57

评论数 0

python爬虫从入门到放弃 二(爬取小说网站)

本期在闲暇之余用BeautifulSoup爬取了一个小说网站,大家可以学习一下,写的注释还算细,如果不懂的欢迎在下面评论区问我 import requests#引入requests from bs4 import BeautifulSoup url='http://www.s...

2018-12-05 16:10:27

阅读数 112

评论数 0

python爬虫第一个,爬取斗图啦,程序猿斗图从来没输过.

最近几天博客一直没有跟新,本人也对爬虫有深深的兴趣所以就花了一天时间,自学了一下,然后实战爬取斗图啦. 话不多说直接上码,相信小白也看的懂, import requests import re import urllib.request #定义目标网站url url='http://www.do...

2018-11-30 18:41:50

阅读数 269

评论数 0

Django模型和数据库基础

模型和数据库基础 一、简介 Django 模型是与数据库相关的,与数据库相关的代码一般写在 models.py 中,Django 支持 sqlite3, MySQL, PostgreSQL,oracle等数据库,只需要在settings.py中配置即可,不用更改models.py中的代码,丰富的A...

2018-11-20 09:13:46

阅读数 19

评论数 0

django的基本流程

1、创建django项目 打开pycharm--> 选择new project,出现下面的对话框。 示例图 2、Django将自动生成下面的目录结构 说明 当点击create之后,等待安装完成之后会创建如下项目结构 示例图 3、创建app 说明 在每个D...

2018-11-15 09:12:23

阅读数 36

评论数 0

git本地项目上传码云详细步骤(内附git工具下载)

git工具在文章最后附有云盘下载地址,话不多说直接上教程 第一步,安装客服端 第二步 创建本地代码库 第四步选中文件夹 右键 选择 GIt Bash Here 第五步 初始化 用户名 邮箱 第六步 打开git图形界面工具, 打开方式选择第四步 的 git gui here 如果没有git本...

2018-10-31 19:43:04

阅读数 32

评论数 0

liunx常用的命令

常用基本命令 一、说明 要执行 Linux 命令,首先要打开 Linux 的命令窗口(通常也称之为 Shell 窗口或终端),在 Shell 窗口中执行命令。例如我们先执行一个最简单的命令 ls,只要 在键入“ls”,然后回车,此命令的功能是列出当前目录下的所有子目录和文件。 Linux 中命...

2018-10-30 21:05:51

阅读数 34

评论数 0

liunx常用配置

操作系统 一、路径 1、路径相关命令 1.1 、命令相关 cd (change directory) 更改目录。 pwd (print working directory)显示当前路径。 ls (list) 显示当前目录中的文件列表。 1.2、示例代码 cd/etc 进入“/etc”目录,...

2018-10-30 21:04:48

阅读数 42

评论数 0

最详细的虚拟机linux安装教程

Linux安装 一、概要 介绍 Linux的安装、常用命令、远程访问等入门级知识。学完本课程,具备初级软件工程师对Linux知识的要求。 Linux 学习过程: 首先在 Windows下安装虚拟机管理软件VMWare Workstation Pro 14 或者VirtualBox 5。 ...

2018-10-30 21:01:23

阅读数 451

评论数 0

爬虫入门到放弃(六)学习强国自动化完成

首先声明,本人是忠党爱国的,用自己的操作去实现一步步的爱国操作. 下面使用到的技术有selenium和模拟登陆等等,大家可以学习,不要去做违法操作. # _*_ coding: utf-8 _*_ __name__ = 'xbb' __date__ = '2019/4/13' from sel...

2019-04-13 10:54:19

阅读数 4572

评论数 22

django文件上传

文件上传 一、概要 文件上传与下载也是开发中的比较重要的功能 二、前期配置文件 在settings文件中 MEDIA_ROOT = BASE_DIR + ‘/media/’ BASE_DIR 是项目所在的目录,这样文件就会存储在当前的开发目录下的一个media的文件夹下 MEDIA_URL = ...

2018-11-29 09:43:23

阅读数 37

评论数 0

liunx系统配置

系统配置 一、配置自己的Linux系统 1、启动流程 开机BIOS自检,加载硬盘。 读取MBR(Master Boot Record),MBR引导。 grub(GRand Unified Bootloader)引导菜单(Boot Loader)。 加载内核kernel 启动init进程,依据in...

2018-10-30 21:03:21

阅读数 29

评论数 0

python装饰器和python面向对象练习题

今天在上课结束老师突然生活咱们好久没练习python了就布置了3道题可以供大家参考 ‘’’ 编写装饰器,为函数加上统计时间的功能 ‘’’ import time def zhuangshiqi(s): def inner(*x): a=time.time() s(*x) b=time.time...

2018-10-30 20:59:12

阅读数 187

评论数 0

jQuery Ajax

jQuery Ajax 一、概要 jQuery在异步提交方面封装的很好,直接用AJAX非常麻烦,jQuery大大简化了我们的操作,不用考虑浏览器的兼容性. 二、核心方法 1、ajax() 1.1、说明 发送并处理AJAX请求。这是jQuery底层的AJAX实现,包含处理AJAX请求所需的一切功能...

2018-10-26 11:04:10

阅读数 38

评论数 0

jQuery动画

jQuery动画 一 、概述 jQuery提供了一组方法用于为HTML元素制作简单的动画效果。这些动画的方法都是根据实际动画效果来命名的,它们分别是: show(),hide(),toggle(),slideDown(),slideUp(),slideToggle(),fadeIn(),fadeO...

2018-10-26 11:02:59

阅读数 18

评论数 0

JQ DOM事件处理

事件处理 一、事件API jQuery对象的核心事件方法,核心事件函数,主要用于为元素的任意事件(包括自定义事件)添加、取消、触发绑定的一个或多个事件处理函数 二、on()方法(首选方法) 1、说明 on() 方法在被选元素及子元素上添加一个或多个事件处理程序。 自 jQuery 版本 1....

2018-10-26 11:01:47

阅读数 41

评论数 0

JQ DOM 样式操作

样式操作 一、 概要 通过JavaScript获取dom元素上的style属性,我们可以动态的给元素赋予样式属性。在jQuery中我们要动态的修改style属性我们只要使用css()方法就可以实现了 二、CSS() 1、作用 css()函数用于设置或返回当前jQuery对象所匹配的元素的cs...

2018-10-26 11:00:48

阅读数 81

评论数 0

JQ DOM 文档处理

文档处理 一、创建元素节点 1、使用函数创建新元素 创建的新元素不会自动的把新元素插入到页面中,我们还需要明确的指定其插入到页面中的位置(比如使用append方法,指定其插入位置为某个元素的最后一个子元素) 返回的jQuery对象中只包含html片段最顶层(外层)的元素,对于后代元素我们可以像处...

2018-10-26 10:58:24

阅读数 52

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭