爬虫-某直播平台图片批量爬取url并下载

import json import time import requests from selenium import webdriver class HuYa(object): def __init__(self): self.start_url = &q...

2019-01-15 21:23:58

阅读数 1887

评论数 0

人工智能--人脸识别

脸部扫描识别AI import cv2 from helper import prefacencoding,facerecognition from helper import drawname,drawtime # import threading import time video_cap...

2019-07-02 14:05:48

阅读数 1394

评论数 0

快速高效的学习python---入门---高级

以做题的方式去攻克基本知识: a, b两张表,a: abccd; b: acded ,使用sql语句查询出a,b的accd。 由以上表中的数据可以看出accd属于a,b的交集; 使用innersql语句查询: select * from B inner join B.name = A.name ...

2019-03-19 11:01:09

阅读数 29

评论数 0

VIP视频解析

VIP视频解析---------学习用 禁止商业用途 #!/usr/bin/env python #-*- coding:utf-8 -*- """ Created on Sun Mar 12 21:47:26 2017 @autho...

2019-03-14 13:27:36

阅读数 68

评论数 0

爬虫,爬bing图片搜索,给定关键词,多线程爬虫,图片

爬虫,爬bing图片搜索,给定关键词,多线程爬虫,图片哗啦啦的来 #####utf-8 import urllib.request import urllib.parse import os import re import sys,threading,time import socket cl...

2019-03-14 13:21:17

阅读数 60

评论数 0

爬虫基本功---面试宝典

基本知识点的梳理 一. python 的基本功 简述python的特点和优点; python 是一门开源的解释性语言,相比于Java C++, python具有动态的特性,非常的灵活。 python有那些数据类型: python有六种内置的数据类型,其中不可变得数据类型有:int整数,str字...

2019-03-10 11:20:39

阅读数 47

评论数 0

Mongodb 数据库

mongodb 首先关系型数据库和非关系型数据库的介绍; 对于关系型的数据库,存储数据之前,必须先建表建库,随着数据的复杂度越来越高,所建表的数量也就越来越多 但是非关系型数据库却不需要如此复杂; 关系型数据库很强大,但是它并不能很好的应付所有的应用场景; MySQL的扩展性差;大数据下IO压力大...

2019-03-02 16:32:55

阅读数 1953

评论数 0

Redis

Redis: Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。 Redis 的特性: redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载使用; redis不仅仅支持简单的ke...

2019-03-02 15:24:43

阅读数 42

评论数 0

python基础笔记--mysql

SQL语句主要分为: DQL:数据查询语言,用于对数据进行查询,如select DML:数据操作语言,对数据进行增加、修改、删除,如insert、udpate、delete TPL:事务处理语言,对事务进行处理,包括begin transaction、commit、rollback DCL:数据控...

2019-03-02 10:15:56

阅读数 41

评论数 0

git版本控制

一般一些不需要提交到远程仓库的代码或者文件;使用 .gitignore,对文件进行忽略; 设置全部编码防止乱码的产生,影响代码; git config --global gui.encodeing utf-8 一般新建仓库需要初始化仓库: git init 把项目缓存到本地仓库: git add ...

2019-03-01 21:47:32

阅读数 36

评论数 0

简单概括一些所谓的测试

简单阐述下后端的测试: 直接对web和App后端进行测试;需要测试接口,通常使用postman进行手工功能的测试或者使用python的pytest进行接口的测试;(代码实现接口自动化测试方便回归)。 对服务器的数据库,中间件,缓存系统进行测试: 其中数据库需要关注增删改查 异常测试;列...

2019-03-01 20:58:16

阅读数 36

评论数 0

python中的垃圾回收机制

python中的垃圾回收机制: python中的垃圾回收是以引用计数为主;分代收集为辅;引用计数的缺陷是循环引用的问题; 在python中,如果一个对象的引用计数为0,python虚拟机就会回收这个对象的内存。 垃圾回收: python中的GC模块的主要应用了引用计数来回收垃圾;在引用计数的基础上...

2019-02-21 16:06:09

阅读数 44

评论数 0

nginx_锁_同步_异步_阻塞

nginx 的相关介绍 nginx的产生: 首先是因为apache局限性而产生的nginx apache当年最大的最流行的WEB服务器,发展时期相当的长; 也有很多的优点: 稳定;开源;跨平台等; 它最初的额设计就是一个重量级的服务器;缺点就是不支持高并发; 如果运行的访问量过高就会导致服务器卡死...

2019-02-21 14:39:53

阅读数 43

评论数 0

关于nginx使用介绍

nginx 的相关介绍 nginx的产生: 首先是因为apache局限性而产生的nginx apache当年最大的最流行的WEB服务器,发展时期相当的长; 也有很多的优点: 稳定;开源;跨平台等; 它最初的额设计就是一个重量级的服务器;缺点就是不支持高并发; 如果运行的访问量过高就会导致服务器卡死...

2019-02-20 10:33:01

阅读数 51

评论数 0

面试总结

面试总结 第一天 一句话翻转字典的key和value python的自省机制 元祖和列表的区别 tcp和udp优缺点 tcp和udp差别 GIL全局解释器锁 cookies selenium怎么解析数据 为什么用selenium 一句话翻转字典的key和value...

2019-02-19 09:36:44

阅读数 54

评论数 0

一些高可用的面试题整理

说一下TCP的三次握手客户端在访问服务器的什么?在三次握手中服务器内部发生了什么事情? 建立起一个TCP连接需要经过“三次握手”: 1) Client首先发送一个连接试探,ACK=0 表示确认号无效,SYN = 1 表示这是一个连接请求或连接接受报文,同时表示这个数据报不能携带数据,seq = x...

2019-02-18 21:15:12

阅读数 607

评论数 0

Mysql/Redis数据库基础知识的整理

Mysql/Redis基础知识的整理 Celery的底层原理 celery是基于python实现的一个异步任务的调度工具,同时还是一个任务队列,主要用于处理耗时的任务: celery主要由三部分组成: 消息中间件(message broker) 消息中间键,是任务调度队列,是一个独立服务,是一个...

2019-02-18 13:43:54

阅读数 73

评论数 0

面试题

11. 请筛选年龄小于18或者大于40的Person from django.db import models class Person(models.Model): name = models.CharField(max_length=200) age = models.Inte...

2019-02-03 21:33:20

阅读数 112

评论数 0

苏宁图书爬取

苏宁图书爬取: 创建项目工程: Scrapy startprojeect suning(项目名称) 创建爬虫: Scrapy genspider sn book.suning.com 获取大分类的分组: div_list = response.xpath("//div[@cl...

2019-01-27 19:29:47

阅读数 143

评论数 0

最全爬虫总结没有之一拿走不谢

爬虫总结 1. 爬虫流程? 准备url列表 发起请求、获得响应 提取数据,提取url放入url列表 保存数据 聚焦爬虫的流程 注意:提取的数据以url对应的响应为准,浏览器element只能作为参考 2. requests的使用 pip install requests 2.1 基本使用 ...

2019-01-27 18:39:08

阅读数 117

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭