- 博客(54)
- 收藏
- 关注
RSS订阅转载 random模块
random模块背景python的一个随机模块,主要进行随机取值,例如验证码和洗牌功能等...应用>>> help(random.random)Help on built-in function random:random(...) method of random.Random instancerandom() -> x in the...
2019-05-28 18:15:00
234
转载 Pipenv ---简单应用
pipenv --- cmd部署 Pipenv是虚拟环境,它的存在主要是为了解决多个项目之间依赖冲突,避免依赖污染的问题1. 下载安装#pip下载 pip install pipenv - i http://pypi.douban.com/simple2. 创建虚拟环境#找到指定的目录,在指定目录下创建虚拟环境pipenv install ...
2019-05-22 09:15:00
247
转载 数据分析 ---下篇
Pandas数据处理删除重复元素 使用duplicated()函数检测重复的行，返回元素为布尔类型的Series对象，每个元素对应一行，如果该行不是第一次出现，则元素为True - keep参数 : 指定保留哪一行重复行的数据#创建具有重复元素的数据import numpy as npimport pandasfrom pandas import ...
2019-05-14 22:13:00
215
转载 数据分析 ---上篇
空值清洗 - 处理丢失数据常见的两种空值数据(丢失数据)Nonenp.nan(NaN)None None是python自带的,其类型为python object .因此,None不能参与到任何计算中type(None) #NoneTypeNpne + 1 #报错np.nan(NaN) np.nan是浮点型,能参与计算,但...
2019-05-13 19:54:00
142
转载 爬虫 ---模拟登录
模拟登录模拟登陆是什么鬼? 有些时候,我们在爬取某些网站内容的时候,网站要求登录后才能操作..,但是处理验证码;模拟登陆的流程对登录页面进行请求,从请求的页面源码中解析下载验证码图片使用打码平台对验证码进行识别基于登录按钮发起一个post请求(处理参数)模拟登录的意义和作用 爬取基于某些用户的用户信息,获取cookie验证码识别 三方...
2019-05-09 23:08:00
197
转载 爬虫 --- 获取图片并处理中文乱码
爬取网站图片运用requests模块处理url并获取数据,etree中xpath方法解析页面标签,urllib模块urlretrieve保存图片,"iso-8859-1"处理中文乱码#爬取图片并且处理乱码import requestsfrom lxml import etree#urlretrieve可以直接保存图片from urllib import ...
2019-05-09 23:06:00
584
转载 爬虫篇 ---增量式爬虫
What is 增量式爬虫? 用来 监测 网站数据更新的情况,只会爬取网站中更新出来的新数据增量式爬虫的核心 去重,因为你爬取到的数据是不可以出现重复的怎么进行增量式爬取呢?在发送请求之前判断这个URL是不是之前爬取过在解析内容后判断这部分内容是不是之前爬取过写入存储到 redis 时判断内容是不是已经在介质中存在#总结分析 对比三种...
2019-05-09 23:04:00
286
转载 图片懒加载
What is 图片懒加载? 图片懒加载是一种网页优化技术,图片在被请求时也与普通静态资源一样,占用资源,然而当一个图片类型在刚被初次请求的时候不可以一次性加载所有的图片,因为这样太过于浪费网络资源,还增加了页面加载时间,通过前后端配合处理,使图片仅在浏览器当前视窗内出现的时候才加载该图片,达到减少首屏图片请求数的技术就被称为“图片懒加载”。如何实现图片懒加载? 在网页源...
2019-05-09 21:22:00
102
转载 UA池和ip代理池
UA池背景 我们在使用下载中间件处理请求,一般会对请求设置随机的User-Agent,设置随机的代理.目的就是防止爬取网站的反爬虫策略,但是同一类型User-Agent的浏览器还是容易被监测到,开启UA池放置更多类型的User-Agent就能够极大避免反扒机制作用 - 尽可能多的将scrapy工程中的请求伪装成不同类型的浏览器身份操作流程在下载中间件...
2019-05-09 20:13:00
331
转载 爬虫篇 --- 分布式爬虫
What is 分布式,爬虫? 使用多台机器组成一个分布式的机群,在机群中运行同一组程序。进行联合数据的爬取 !Scrapy怎么实现分布式? 原生Scrapy是无法实现分布式的 ! Reason: - 原生scrapy中的调度器无法共享, - 原生scrapy中的管道不可以被共享 Soluti...
2019-05-09 15:05:00
144
转载 Selenium
Selenium基础What is selenium? selenium 英/sɪ'liːnɪəm/最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器环境准备pip in...
2019-05-08 11:28:00
158
转载 Scrapy ---心得
scrapy框架基础 - 框架 : 具有很多功能,且具有很强通用性的项目模板 - 环境安装 :#环境准备linux 系统 pip3 install scrapywindows系统 1 pip3 install wheel 2 下载 Twisted-19.2.0-cp36-cp36m-win-amd64.whl 3 进入下载目录...
2019-05-06 23:28:00
368
转载 爬虫 --通用篇
概述爬虫是合法的吗?是的,它是一个计算机的学科!一个工具什么是爬虫?通过编写程序,模拟浏览器上网,然后让其去互联网上爬取/获取数据的过程.爬虫爬取的也就是服务端的响应数据爬虫使用场景的分类- 通用爬虫 : 爬取一整张页面数据."抓取系统"- 聚焦爬虫 : 爬取页面中指定的内容,建立在通用爬虫的基础上,爬到数据后,进行局部数据解析筛选- 增量式爬虫 : 用来...
2019-04-30 12:36:00
200
转载 爬虫 --聚焦爬虫篇
聚焦爬虫介绍1.编码流程指定url发起请求获取响应数据数据解析持久化存储聚焦爬虫详情- 如何实现数据解析?正则bs4xpath- 数据解析的原理实现标签定位将标签存储的文本内容或者相关属性值进行提取- bs4数据解析1.环境准备 - pin install bs4 - pip ...
2019-04-30 12:35:00
369
转载 elasticsearch
elasticsearch背景https://www.cnblogs.com/Neeo/p/10304892.html我们建立一个网站或应用程序，并要添加搜索功能，但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快，我们希望能有一个零配置和一个完全免费的搜索模式，我们希望能够简单地使用JSON通过HTTP来索引数据，我们希望我们的搜索服务器始终可用，我们希望能...
2019-04-25 21:21:00
169
转载 网络
网段划分A B C D E F 5类ip段A 1-126 10.0.0.0到126.255.255.255B 128-191 172.176-172.31C 192-223 192.168.1-192.168.255D 224-239E 240-255A 类的默认子网掩码 25...
2019-04-17 09:02:00
75
转载 Git--- Github
Git基础什么是git?git是一个版本控制系统,也可以说当你的代码发生变化进行管理的工具.在git出现之前这样的工具SVN,CVS.git和github的区别,简单来说,git是一个版本控制的工具,github是一个代码托管平台,一个代码仓库.用git管理项目首先进入项目目录,启动git--->Git Bash Here,这样就开启了git管理系统启动了一...
2019-04-15 22:38:00
599
转载 linux --- Ansible-playbook篇
Ansible-playbook简介什么是playbook?简单点说,playbook就是ansible用于配置,部署和管控节点机器的剧本,将一系列命令的集合归一使用,类似于shell脚本,不过更加强大.playbook与shell脚本比对它们功能形似,playbook和shell脚本一样,都是批量处理任务.都是把很多命令组合到一起,加入对应条件判断等,要说区别就是命令结...
2019-04-11 21:07:00
1161
转载 linux --- Ansible篇
ansible背景1.什么是ansible? ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。2.ansible的是怎么工作的?ansible是基于模块工作的，本身没有批量部署的能力。真正具有批量部署的是...
2019-04-09 17:16:00
238
转载 HBuilder
什么是HBuilder?HBbuilder是DCloud(数字天堂)推出的一款支持HTML5的WEB开发IDE,主体是由java编写的,它将HTML/JS代码块进行代码封装,达到简单数据形成代码的特点,对开发者特别友好.MUI?移动APP布局框架, - 最接近原生APP操作HTMLPLUS调用硬件驱动和系统调用MUI页面的DOM操作MUI 页面的DOM ...
2019-03-28 18:24:00
315
转载 MongoDB
MongoDB背景MongoDB是一个很有意思的数据库,一个介于关系型数据库和非关系型数据库之间,但它是(NoSQL)非关系数据库且功能最丰富,最接近关系的数据库,它的数据就是存放在内存中,对数据的操作大部分在内存中,但MongoDB并不是单纯的内存数据库,MongoDB是由C++编写的,是一个基于分布式文件存储开源数据库系统,它的存在就是能够为WEB应用提供 可扩展、高性能 存储数...
2019-03-27 16:44:00
90
转载 人工智能--AI篇
AI背景在当今互联网信息高速发展的大背景下,人工智能(AI)已经开始走进了千家万户,逐渐和我们的生活接轨,那具体什么是AI呢?什么是人工智能(AI)?人工智能:简单理解就是由人制造出来的,有一定的''智慧能力'',不过它同样类似人类一样具备:听、说、看、思考、理解等能力!听:语音识别;说:语音合成;看:图像,文字,视频的识别;思考:理解后的逻辑...
2019-03-25 18:07:00
228
转载 WebSocket
websocket是什么?web-socket是HTML5提出的一个协议规范,实现了浏览器和服务器之间的全双工通信web-socket约定了一个通信的规范,通过一个握手的机制,客户端(浏览器)和服务端(webserver)之间建立一个类似于tcp的连接,从而方便Client-Server,在websocket出现之前,web交互一般基于http协议的短连接和长连接websocke...
2019-03-24 22:11:00
173
转载 linux ---docker篇
Dockerdocker是什么?docker最初是dotCloud公司创始人Solomom Hykes在法国期间发起的一个公司内部项目,它是基于dotCloud公司多年云服务技术的一次革新,并在2013年3月以Apache2.0授权协议开源,主要项目代码在GitHub上进行维护...docker是linux容器的一种封装,提供简单易用的容器使用接口,它是最流行的linux容器...
2019-03-13 22:13:00
119
转载 linux --- 部署前后端分离项目
vue + uwsgi +nginx 部署前后端分离项目准备项目1.将前端vue项目包和后端django项目包上传服务器,通过lrzsz,直接从windows拖进linux中2.解压缩操作前端vue部署node环境准备1.下载node二进制包,该包已经包含node,不需要再编译# wget https://nodejs.org/download/re...
2019-03-13 20:44:00
342
转载 linux --nginx篇
NGINX是什么?nginx是开源的,支持高性能的,高并发的www服务和代理服务软件,就是web服务器,nginx不但是一个优秀的web服务软件,还可以做反向代理,负载均衡,以及缓存服务使用.优点:支持高并发,支持几万的并发连接;资源消耗少.在3万并发连接下开启10个nginx线程消耗内存不到200M;可以做负载均衡,反向代理;支持异步网络I/O事件模型epollTengin...
2019-03-12 00:50:00
153
转载 linux --mariadb/redis数据库篇
mariadb ---磁盘型数据库基础安装配置好yum源后,软件就可以通过配置的yum源进行安装,按理来讲安装mysql直接通过 yum install mariadb -y 便可安装,但是再企业中通过配置的阿里云的两个源版本太低,因此会使用mariadb官方提供的yum源,下载官方的mariadb包实现远程连接进入yum仓库, /etc/yum.rep...
2019-03-08 22:49:00
227
转载 linux ---部署django项目篇
uWSGI +nginx+django + virtualenv + supervisor发布web服务器项目部署步骤1.项目准备阶段1.准备项目代码,从本地拷贝2.将项目上传到linux服务器中,也就是拖进linux中...3.执行命令解压缩项目文件 2.解决项目运行的环境问题1.通过命令导出开发机器的所有模块,可以在window...
2019-03-07 19:38:00
118
转载 linux--python虚拟环境篇
python的虚拟环境首先我们得知道为什么要要用虚拟环境?在使用python开发过程中,各种业务需求多了,导致工程任务多了,难免会碰到不同的工程依赖不同版本库的问题,;或者是在开发的时候不想让物理环境里充斥各种各样的库,引发依赖环境灾难,此时我们需要对于不同的工程使用不同的虚拟环境来保持开发环境以及宿主环境的清洁,让各个工程任务解耦性更高,独为一体.因此我们要使用 Virtual...
2019-03-07 19:12:00
277
转载 linux--- python3环境部署篇
环境部署我们在pycharm上都是自己设置的python3解释器的环境变量,使得代码能够正常执行!可是怎么能让我们的python代码在LINUX上跑起来呢?linux是内置python,可是内置的是python2哦,python2在2020年就不维护了,所以python3必然大趋所示,哈哈,还是说怎么部署python3环境吧!!!!安装python3步骤---->直接上干...
2019-03-07 17:31:00
76
转载 linux 软件包管理
软件包是什么?程序(软件)组成部分:二进制程序 可执行命令库 .so文件配置文件 .conf帮助文件 readme /usr/share/manlinux安装软件的方式3种1.yum安装 优点:自动去配置的yum下搜素软件包,自动安装,自动解决依赖关系,很厉害缺点:yum安装受限于yum仓库,并且安装到哪个路径,难以更改因此yum...
2019-03-07 00:38:00
53
转载 linux命令 网络篇
linux常用命令netstat 语法(命令) 主要查看端口状态netstat 语法netstat -t/tcp 显示Tcp传输协议连线状况;netstat -u/udp 显示UDP传输协议的连线状态;netstat -n/numeric 直接使用ip地址,而不通过域名服务器;netstat -l/listening...
2019-03-06 22:08:00
119
转载 LINUX常用命令 --- 权限篇
linux常用命令linux用户权限相关root 用户 相当于群主 超级用户 sudo命令 相当于群管理员普通用户 群成员查看用户id信息 使用linux id命令linux存放用户信息文件/etc/passwd切换用户 susu -username 普通用户需要密码,root就比较随意了添加用户...
2019-03-04 15:15:00
207
转载 django-CRM-项目部署
流程rbac组件的应用1:拷贝rbac组件到新的项目中,执行注册2:数据库迁移先删除rbac下migrations下除了init之外的所有文件修改用户表class User(models.Model): '''用户表''' roles = models.ManyToManyField(Role,blank=True)#关联用类名...
2019-03-01 22:02:00
119
转载 二级菜单优化功能
二级菜单的功能优化---渐入佳境功能1:点击其中之一的一级菜单展示其二级菜单,同时其他一级菜单的二级菜单都处于闭合状态思路:使用jsDOM操作进行实现HTML示例代码<div class="multi-menu"> {% for menu in menu_list %} <div class="item"> ...
2019-02-27 23:01:00
241
转载 Django中,ajax检测注册用户信息是否可用?
ajax检测注册用户信息主体思路 1.在settings.py中配置需要使用的信息#对static文件进行配置STATICFILES_DIRS=[ os.path.join(BASE_DIR,'static')] 2.在url.py中配置注册register和check地址, from django.conf.urls impor...
2019-02-15 21:19:00
190
转载 装饰器函数
装饰器函数什么是装饰器函数? 装饰器函数的本质就是闭包函数,也就是函数嵌套,内部函数调用外层函数变量装饰器函数的功能 在不修改原函数以及调用方式的情况下,对原函数的功能进行扩展.def warpper(func): def inner(): ret = func() return ret return...
2019-01-22 21:47:00
596
转载 JavaScript
JavaScript---让编程更加有趣引入js,无论什么编程语言,基础都很重要.才能了解本质, javascript 简称JS,是一门编程语言,有名的脚本语言,本身跟Java并没有关系,它可以网页增光添彩,提高我们访问网页可视化效果! HTML,CSS,JS组成前端结构,三者相辅相成,如果说HTML是外层骨骼,CSS是肉体,那我认为JS就是其中的灵魂.ECMAS...
2019-01-04 17:59:00
67
转载 python-Beautiful rose
热爱python,热爱生活,python需要浪漫,让我带大家走进浪漫的国度...写的不好的地方请大佬指教import turtleimport timeclass Rose: def __init__(self): self.interface() @classmethod def interface...
2018-12-17 19:27:00
111
转载 python-and和 or用法
python中的逻辑运算and和or执行逻辑运算,但是它们不会返回bool值,而是返回它们进行比较的值之一and>>> 1 and 2取2>>>1 and 2 and 3返回3>>>[1,] and True返回True结论--->都为真返回 右侧真值>>>0 and 2...
2018-12-15 15:25:00
120
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人