自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

大改的博客

努力努力再努力

转载 Djando中间件

 django的生命周期是:前端请求--->nginx--->uwsgi.--->中间件--->url路由---->view试图--->orm---->拿到数据返回给view---->试图将数据渲染到模版中拿到字符串---->中间件--->uwsgi---->nginx---->前端渲染。        今天就不讲其他内容...

2018-08-17 11:22:38 184

转载 jquery发送数据的三种方式

​<script src="/js/jquery-1.11.3.js" ></script><script> // 采用get方式发送数据 function jq_get(){ //$.get("/demo","username=zs&password=123",function(obj){ var params = {

2018-08-14 08:58:51 436

转载 python

Python是一个面向对象的解释型的交互式高级脚本语言:Python被设计成一种高可读性的语言,因为它大量地使用了英语中的单词作为关键字,而且不像其他语言使用标点符号构成复杂的语法结构,Python的语法结构非常少。Python是一种面向对象的语言:即Python是支持面向对象的,支持在对象中进行代码封装。Python是一种解释型语言:即Python程序是在运行时由解释器解释执行的,因而不...

2018-08-10 21:39:37 123

原创 socket基本概念

#!/usr/bin/env python# -*- coding:utf-8 -*-"""网络常识概念1. OSI网络七层协议(必会) 应 表 会 传 网 数 物2. 常用协议在哪一层? 第七层:应用层 http smtp pop3 ftp 在应用层 http:超文本传输协议 ftp:文件传输协议 ssl在会话层 ssl 安全套接字协议...

2018-08-09 20:34:20 151

原创 udp简单应用

server.py#!/usr/bin/env python# -*- coding:utf-8 -*-import socketsock = socket.socket(type=socket.SOCK_DGRAM) # 创建socket对象,注意参数sock.bind(('127.0.0.1', 8002)) # 绑定ipwhile True: client_m...

2018-08-09 20:33:19 140

原创 智能机器人的简单聊天

robot.py#!/usr/bin/env python# -*- coding:utf-8 -*-import requestsimport demjsonAPI_KEY = '5e0b241b7507443ca4a9eac826d0620f'def send_msg(msg, userID): url = "http://openapi.tuling123....

2018-08-09 20:27:46 259

原创 爬虫面试题

一.项目问题:    一般面试官的第一个问题八成都是问一下以前做过的项目,所以最好准备两个自己最近写的有些技术含量的项目,当然一定要自己亲手写过的,在别的地方看的源码,就算看的再清楚,总归没有自己敲的了解的多。以下是抽出的几点1.你写爬虫的时候都遇到过什么反爬虫措施,你是怎么解决的? 通过headers反爬虫:解决策略,伪造headers 基于用户行为反爬虫:动态变...

2018-08-07 18:05:24 12110 3

原创 scrapy去重原理

1.dont_filter默认为False,即开启去重;2.对于每一个url的请求,调度器都会根据请求得相关信息加密得到一个指纹信息,并且将指纹信息和set()集合中的指纹信息进行比对,如果set()集合中已经存在这个数据,就不在将这个Request放入队列中。如果set()集合中没有存在这个加密后的数据,就将这个Request对象放入队列中,等待被调度。...

2018-08-07 17:08:18 1349

原创 smtp复杂发邮件实例

#!/usr/bin/env python# -*- coding:utf-8 -*-# 发送带有附件的邮件import smtplibfrom email.mime.text import MIMETextfrom email.mime.image import MIMEImagefrom email.mime.multipart import MIMEMultipart# ...

2018-08-07 08:18:34 645

原创 smtp简单发邮件实例

"""1.import2.端口3.从4.到5.标题6.内容7.创建一个对象8.连接协议9.登录10.编辑信息11.发送"""import smtplibHOST = 'smtp.163.com'PORT = 25FROM = '98765432121@163.com'TO = '12345678936@163.com'SUBJECT = '晚上'CONTE...

2018-08-07 08:13:48 417

原创 yagmail简单发邮件实例

先pip install yagmail#!/usr/bin/env python# -*- coding:utf-8 -*-# 简单发邮件的实例import yagmail # 1.引入包sender = '111111111@qq.com' # 发件人password = 'prhfjasjktmba' # 密钥receiver = '222222222@qq.com...

2018-08-07 08:11:32 992

原创 tcp客户端

#!/usr/bin/env python# -*- coding:utf-8 -*-"""tcp 客户端1.建立socket2.连接我们的服务器3.发送数据4.接受数据5.close"""import socketdef tcp_cli(): sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) ...

2018-08-07 08:06:36 89

原创 tcp 服务端

#!/usr/bin/env python# -*- coding:utf-8 -*-"""TCP server端1. 建立一个socket2. 绑定IP和端口, tuple 端口的范围1-65535, 通常大于10243. 监听 listen4. 接受请求 accept5. 接收client传输的数据6. 反馈数据,可以不反馈7. close 关闭"""import s...

2018-08-07 08:04:30 76

原创 docker挂载

打开Xshell,建立连接出现这个页面就可以查看容器了

2018-08-03 19:19:32 365

原创 安装docker

1.docker介绍https://yeasy.gitbooks.io/docker_practice/content/2.安装dockerhttps://get.daocloud.io/#install-docker-for-mac-windows去上面网址下载对应版本docker即可3.安装双击打开DockerToolbox, 进行安装安装完成后...

2018-08-03 19:11:25 225

原创 map, reduce, jieba

list1 = ['1 ', '2 ', ' 3 ']# map: 对列表中的每个元素做相同的操作# "".strip()去空格list1 = list(map(str.strip, list1))print(type(list1))result = "".join(list1)print(result)list1 = ['1 --', '2 --', '-- 3 '...

2018-08-02 19:18:14 130

原创 排序

#!/usr/bin/env python# -*- coding:utf-8 -*-"""冒泡排序(会背)"""count = 0list1 = [9, 1, 7, 3, 2, 4, 6]for j in range(len(list1)-1, 0, -1): print(f"这是第{len(list1)-j}轮排序开始") for i in range(j):...

2018-08-02 19:16:28 47

原创 二叉树

class TreeNode(object): def __init__(self, value, left_child=None, right_child=None): self.left_child = left_child self.value = value self.right_child = right_child# 从下...

2018-08-02 19:15:58 52

原创 链表

class LinkNode(object): def __init__(self, value=None, next=None): self.value = value self.next = nextclass Link(object): def __init__(self): self.head = None ...

2018-08-02 19:15:24 66

原创

2018-08-02 19:14:42 45

原创 队列

 

2018-08-02 19:13:36 46

原创 爬虫试卷

姓名:_________        分数:_________        总分:100分 一、填空题1. list1 = [x for x in range(5, 2, -1)],则打印list1的结果是_____[5, 4, 3]______。(2分)2. Python中的编码格式你用过哪些?___GBK_____,___ASCII_____,____Unicode(utf...

2018-07-14 11:32:08 2801

原创 selenium 淘宝实例

# selenium本身自带这种幽灵浏览器/无头浏览器import timefrom selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitfrom multiprocessing import Poolclass TaoBao(object): options =...

2018-07-14 10:45:00 578

原创 selenium窗口切换

1.何时需要切换窗口呢?(1) 标签内部存在iframe,普通的方式无法直接定位到iframe内部的标签元素。需要切换;(2) 一个浏览器对象,存在多个标签选项卡。需要切换。2.iframe标签举例(QQ邮箱登录)from selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitimport...

2018-07-13 23:03:06 451

原创 selenium元素等待

1.何为元素等待呢?元素等待:js代码执行渲染期间,导致数据/标签加载缓慢,如果元素没有加载完成,直接通过find_element去进行定位,会出现元素不存在的异常。2.元素等待的三种方法(1) time.sleep(10) 强制性等待,不管元素在设置时间范围内是否加载出来,都必须要等待固定的时间。(2)WebDriverWait(10) 智能等待的方法,最多等待10秒,10秒之后仍然没有元素,会...

2018-07-13 22:58:26 390

原创 selenium入门

一.引导:selenium(浏览器自动化测试框架)本身提供了许多元素定位的方法,find_element_by_id()这些方法底层是用python语言实现的,提取速度上会慢一些。通常情况下,使用phantomjs/selenium也只是获取js渲染后的网页源代码,而网页中数据的提取,还可以使用xpath, css, re, bs4, etree等。网页中通过js渲染的数据,爬虫的解决办法:1. ...

2018-07-13 22:54:02 105

原创 mongodb的安装

①下载安装包②安装中的第二步选择第二个 custom③在bin文件夹下新建一个data文件④进入data文件夹新建一个db文件夹和logs文件夹⑤进入logs文件夹,新建一个mongo.log文档⑥在cmd敲命令访问http://127.0.0.1:27017,即安装成功⑦打开计算机管理,服务,查找mongodb,右击启动即可...

2018-07-13 22:33:51 91

转载 Mongo的安装

1.首先下载安装包:去mongo官网:https://www.mongodb.com/dr/fastdl.mongodb.org上下载然后在安装时选择第二个: custom安装程序,打开C:\Program Files\MongoDB\Server\3.6\bin看到bin里有一堆文件表示安装成功2.新建文件夹data3.在data中新建文件夹db:4.在cmd里边执行:cd  C:\Progra...

2018-07-13 22:32:51 85

原创 scrapy item_loader

1.导入包2.提取数据页面3.item.py# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# https://doc.scrapy.org/en/latest/topics/items.html# import scrapy### cla...

2018-07-13 22:18:05 120

原创 scrapy笔记

1.scrapy是一个基于异步 + 多线程的方式运行爬虫的框架,内部的函数都是通过回调的方式执行的,不能手动调用.2.创建srapy项目3.scrapy项目构成4.把数据写入json文件中命令scrapy crawl baidu -o baidu.json -s FEED_EXPORT_ENCIDING = utf-85.把数据写入csv中命令scrapy crawl baidu -o baidu...

2018-07-13 08:57:52 156

原创 scrapy笔记

1.re_first():从当前列表中根据正则提取第一个元素的内容2.extract_first('')和extract('')这两个方法调用之后, 就不能再调用xpath()和css()了3装系统:安装大白菜然后插上优盘,打开大白菜,他会让你格式化一个优盘选中优盘格式化,把系统镜像拉倒优盘得iso文件夹里面就行了重启电脑,选择从优盘启动,进去后有个一键装机,双击打开一路下一步就结束了...

2018-07-09 23:02:36 94

原创 scrapy数据保存为txt

1.settings:2.spiders

2018-07-07 16:59:56 949

原创 scrapy把数据保存为txt形式

pipelines.py

2018-07-07 15:15:22 645 1

原创 scrapy数据保存为excel

第一种方法:可以直接敲命令:可以出现csv的文件, 打开即是表格第二种方法:pipelines.py结果是这样的

2018-07-07 15:07:47 5747 10

原创 scrapy保存图片

1.settings2.spiders3.items.py4.pipelines.py:

2018-07-07 14:48:38 1801

原创 scrapy(blog)数据保存到MySQL

1.settings.py(配置)①②2.spiders3.items.py4.pipelines.py

2018-07-07 14:22:51 153

原创 scrapy(微博)数据保存到Mongodb

1.settings.py:(配置文件)①②UserAgent配置放开③Mongo配置放开④Mongo配置2.middlewares.py中间件配置(useragent, proxy, cookies)3.spiders(逻辑)4.items.py5.pipelines.py6.debug(运行)...

2018-07-07 11:54:42 513

原创 Python虚拟环境的安装和配置

Python虚拟环境的安装和配置(windows)1.下载virtualenvwrapper-win 包 2.输入workon命令查看是否可用   3.使用virtualenvwrapper创建虚拟环境 默认放在C:\Users\Administrator\Envs目录中 可以修改存放的路径:(不需要)找到系统环境变量,添加WORKON_HOME为指定路径即可     运行workon,目录中没有...

2018-07-07 10:24:25 231

原创 scrapy爬取准备工作

刚学scrapy框架,先练习一下1.先建立一个新文件夹, 命名为novel2.打开cmd, 敲命令3.打开pycharm文件是这样的4.配置环境

2018-07-07 10:18:03 114

原创 6.22

# douban#!/usr/bin/env python# -*- coding:utf-8 -*-import time, re, json, requestsfrom selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitfrom multiprocessing impo...

2018-06-28 21:29:11 185

提示
确定要删除当前文章?
取消 删除