- 博客(50)
- 收藏
- 关注
转载 Djando中间件
django的生命周期是:前端请求--->nginx--->uwsgi.--->中间件--->url路由---->view试图--->orm---->拿到数据返回给view---->试图将数据渲染到模版中拿到字符串---->中间件--->uwsgi---->nginx---->前端渲染。 今天就不讲其他内容...
2018-08-17 11:22:38
365
转载 jquery发送数据的三种方式
<script src="/js/jquery-1.11.3.js" ></script><script> // 采用get方式发送数据 function jq_get(){ //$.get("/demo","username=zs&password=123",function(obj){ var params = {
2018-08-14 08:58:51
886
转载 python
Python是一个面向对象的解释型的交互式高级脚本语言:Python被设计成一种高可读性的语言,因为它大量地使用了英语中的单词作为关键字,而且不像其他语言使用标点符号构成复杂的语法结构,Python的语法结构非常少。Python是一种面向对象的语言:即Python是支持面向对象的,支持在对象中进行代码封装。Python是一种解释型语言:即Python程序是在运行时由解释器解释执行的,因而不...
2018-08-10 21:39:37
430
原创 socket基本概念
#!/usr/bin/env python# -*- coding:utf-8 -*-"""网络常识概念1. OSI网络七层协议(必会) 应 表 会 传 网 数 物2. 常用协议在哪一层? 第七层:应用层 http smtp pop3 ftp 在应用层 http:超文本传输协议 ftp:文件传输协议 ssl在会话层 ssl 安全套接字协议...
2018-08-09 20:34:20
367
原创 udp简单应用
server.py#!/usr/bin/env python# -*- coding:utf-8 -*-import socketsock = socket.socket(type=socket.SOCK_DGRAM) # 创建socket对象,注意参数sock.bind(('127.0.0.1', 8002)) # 绑定ipwhile True: client_m...
2018-08-09 20:33:19
265
原创 智能机器人的简单聊天
robot.py#!/usr/bin/env python# -*- coding:utf-8 -*-import requestsimport demjsonAPI_KEY = '5e0b241b7507443ca4a9eac826d0620f'def send_msg(msg, userID): url = "http://openapi.tuling123....
2018-08-09 20:27:46
457
原创 爬虫面试题
一.项目问题: 一般面试官的第一个问题八成都是问一下以前做过的项目,所以最好准备两个自己最近写的有些技术含量的项目,当然一定要自己亲手写过的,在别的地方看的源码,就算看的再清楚,总归没有自己敲的了解的多。以下是抽出的几点1.你写爬虫的时候都遇到过什么反爬虫措施,你是怎么解决的? 通过headers反爬虫:解决策略,伪造headers 基于用户行为反爬虫:动态变...
2018-08-07 18:05:24
17313
3
原创 scrapy去重原理
1.dont_filter默认为False,即开启去重;2.对于每一个url的请求,调度器都会根据请求得相关信息加密得到一个指纹信息,并且将指纹信息和set()集合中的指纹信息进行比对,如果set()集合中已经存在这个数据,就不在将这个Request放入队列中。如果set()集合中没有存在这个加密后的数据,就将这个Request对象放入队列中,等待被调度。...
2018-08-07 17:08:18
1843
原创 smtp复杂发邮件实例
#!/usr/bin/env python# -*- coding:utf-8 -*-# 发送带有附件的邮件import smtplibfrom email.mime.text import MIMETextfrom email.mime.image import MIMEImagefrom email.mime.multipart import MIMEMultipart# ...
2018-08-07 08:18:34
926
原创 smtp简单发邮件实例
"""1.import2.端口3.从4.到5.标题6.内容7.创建一个对象8.连接协议9.登录10.编辑信息11.发送"""import smtplibHOST = 'smtp.163.com'PORT = 25FROM = '98765432121@163.com'TO = '12345678936@163.com'SUBJECT = '晚上'CONTE...
2018-08-07 08:13:48
870
原创 yagmail简单发邮件实例
先pip install yagmail#!/usr/bin/env python# -*- coding:utf-8 -*-# 简单发邮件的实例import yagmail # 1.引入包sender = '111111111@qq.com' # 发件人password = 'prhfjasjktmba' # 密钥receiver = '222222222@qq.com...
2018-08-07 08:11:32
1453
原创 tcp客户端
#!/usr/bin/env python# -*- coding:utf-8 -*-"""tcp 客户端1.建立socket2.连接我们的服务器3.发送数据4.接受数据5.close"""import socketdef tcp_cli(): sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) ...
2018-08-07 08:06:36
170
原创 tcp 服务端
#!/usr/bin/env python# -*- coding:utf-8 -*-"""TCP server端1. 建立一个socket2. 绑定IP和端口, tuple 端口的范围1-65535, 通常大于10243. 监听 listen4. 接受请求 accept5. 接收client传输的数据6. 反馈数据,可以不反馈7. close 关闭"""import s...
2018-08-07 08:04:30
335
原创 安装docker
1.docker介绍https://yeasy.gitbooks.io/docker_practice/content/2.安装dockerhttps://get.daocloud.io/#install-docker-for-mac-windows去上面网址下载对应版本docker即可3.安装双击打开DockerToolbox, 进行安装安装完成后...
2018-08-03 19:11:25
424
原创 map, reduce, jieba
list1 = ['1 ', '2 ', ' 3 ']# map: 对列表中的每个元素做相同的操作# "".strip()去空格list1 = list(map(str.strip, list1))print(type(list1))result = "".join(list1)print(result)list1 = ['1 --', '2 --', '-- 3 '...
2018-08-02 19:18:14
281
原创 排序
#!/usr/bin/env python# -*- coding:utf-8 -*-"""冒泡排序(会背)"""count = 0list1 = [9, 1, 7, 3, 2, 4, 6]for j in range(len(list1)-1, 0, -1): print(f"这是第{len(list1)-j}轮排序开始") for i in range(j):...
2018-08-02 19:16:28
132
原创 二叉树
class TreeNode(object): def __init__(self, value, left_child=None, right_child=None): self.left_child = left_child self.value = value self.right_child = right_child# 从下...
2018-08-02 19:15:58
128
原创 链表
class LinkNode(object): def __init__(self, value=None, next=None): self.value = value self.next = nextclass Link(object): def __init__(self): self.head = None ...
2018-08-02 19:15:24
153
原创 爬虫试卷
姓名:_________ 分数:_________ 总分:100分 一、填空题1. list1 = [x for x in range(5, 2, -1)],则打印list1的结果是_____[5, 4, 3]______。(2分)2. Python中的编码格式你用过哪些?___GBK_____,___ASCII_____,____Unicode(utf...
2018-07-14 11:32:08
7332
原创 selenium 淘宝实例
# selenium本身自带这种幽灵浏览器/无头浏览器import timefrom selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitfrom multiprocessing import Poolclass TaoBao(object): options =...
2018-07-14 10:45:00
754
原创 selenium窗口切换
1.何时需要切换窗口呢?(1) 标签内部存在iframe,普通的方式无法直接定位到iframe内部的标签元素。需要切换;(2) 一个浏览器对象,存在多个标签选项卡。需要切换。2.iframe标签举例(QQ邮箱登录)from selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitimport...
2018-07-13 23:03:06
621
原创 selenium元素等待
1.何为元素等待呢?元素等待:js代码执行渲染期间,导致数据/标签加载缓慢,如果元素没有加载完成,直接通过find_element去进行定位,会出现元素不存在的异常。2.元素等待的三种方法(1) time.sleep(10) 强制性等待,不管元素在设置时间范围内是否加载出来,都必须要等待固定的时间。(2)WebDriverWait(10) 智能等待的方法,最多等待10秒,10秒之后仍然没有元素,会...
2018-07-13 22:58:26
529
原创 selenium入门
一.引导:selenium(浏览器自动化测试框架)本身提供了许多元素定位的方法,find_element_by_id()这些方法底层是用python语言实现的,提取速度上会慢一些。通常情况下,使用phantomjs/selenium也只是获取js渲染后的网页源代码,而网页中数据的提取,还可以使用xpath, css, re, bs4, etree等。网页中通过js渲染的数据,爬虫的解决办法:1. ...
2018-07-13 22:54:02
188
原创 mongodb的安装
①下载安装包②安装中的第二步选择第二个 custom③在bin文件夹下新建一个data文件④进入data文件夹新建一个db文件夹和logs文件夹⑤进入logs文件夹,新建一个mongo.log文档⑥在cmd敲命令访问http://127.0.0.1:27017,即安装成功⑦打开计算机管理,服务,查找mongodb,右击启动即可...
2018-07-13 22:33:51
148
转载 Mongo的安装
1.首先下载安装包:去mongo官网:https://www.mongodb.com/dr/fastdl.mongodb.org上下载然后在安装时选择第二个: custom安装程序,打开C:\Program Files\MongoDB\Server\3.6\bin看到bin里有一堆文件表示安装成功2.新建文件夹data3.在data中新建文件夹db:4.在cmd里边执行:cd C:\Progra...
2018-07-13 22:32:51
166
原创 scrapy item_loader
1.导入包2.提取数据页面3.item.py# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# https://doc.scrapy.org/en/latest/topics/items.html# import scrapy### cla...
2018-07-13 22:18:05
218
原创 scrapy笔记
1.scrapy是一个基于异步 + 多线程的方式运行爬虫的框架,内部的函数都是通过回调的方式执行的,不能手动调用.2.创建srapy项目3.scrapy项目构成4.把数据写入json文件中命令scrapy crawl baidu -o baidu.json -s FEED_EXPORT_ENCIDING = utf-85.把数据写入csv中命令scrapy crawl baidu -o baidu...
2018-07-13 08:57:52
244
原创 scrapy笔记
1.re_first():从当前列表中根据正则提取第一个元素的内容2.extract_first('')和extract('')这两个方法调用之后, 就不能再调用xpath()和css()了3装系统:安装大白菜然后插上优盘,打开大白菜,他会让你格式化一个优盘选中优盘格式化,把系统镜像拉倒优盘得iso文件夹里面就行了重启电脑,选择从优盘启动,进去后有个一键装机,双击打开一路下一步就结束了...
2018-07-09 23:02:36
141
原创 scrapy数据保存为excel
第一种方法:可以直接敲命令:可以出现csv的文件, 打开即是表格第二种方法:pipelines.py结果是这样的
2018-07-07 15:07:47
10415
12
原创 scrapy(blog)数据保存到MySQL
1.settings.py(配置)①②2.spiders3.items.py4.pipelines.py
2018-07-07 14:22:51
233
原创 scrapy(微博)数据保存到Mongodb
1.settings.py:(配置文件)①②UserAgent配置放开③Mongo配置放开④Mongo配置2.middlewares.py中间件配置(useragent, proxy, cookies)3.spiders(逻辑)4.items.py5.pipelines.py6.debug(运行)...
2018-07-07 11:54:42
656
原创 Python虚拟环境的安装和配置
Python虚拟环境的安装和配置(windows)1.下载virtualenvwrapper-win 包 2.输入workon命令查看是否可用 3.使用virtualenvwrapper创建虚拟环境 默认放在C:\Users\Administrator\Envs目录中 可以修改存放的路径:(不需要)找到系统环境变量,添加WORKON_HOME为指定路径即可 运行workon,目录中没有...
2018-07-07 10:24:25
370
原创 scrapy爬取准备工作
刚学scrapy框架,先练习一下1.先建立一个新文件夹, 命名为novel2.打开cmd, 敲命令3.打开pycharm文件是这样的4.配置环境
2018-07-07 10:18:03
194
原创 6.22
# douban#!/usr/bin/env python# -*- coding:utf-8 -*-import time, re, json, requestsfrom selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitfrom multiprocessing impo...
2018-06-28 21:29:11
250
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人