- 博客(37)
- 收藏
- 关注
原创 安装scrapy的时候会出现twisted安装失败的时候
首先从http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件(如我的Twisted‑17.5.0‑cp36‑cp36m‑win_amd64.whl),cp后面是Python版本,amd64代表64位,运行命令:pip install D:\TDownloads\Twisted-17.5.0-cp36-cp3...
2018-08-06 17:28:17
1265
原创 Git中容易出错的地方
git Please tell me who you are解决方法:git commit -m "some init msg"*** Please tell me who you are.Run git config --global user.email "you@example.com" git config --global user.name "Your Name"to set yo...
2018-07-05 20:58:50
455
原创 selenium简单应用
我们在安装chromedriver的时候回去下载对应版本的chrome,并且把chromedriver添加到环境变量中,但是重启后依然会报错这样我们在访问的时候直接把chromedriver的路径直接加载进去from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsimport os...
2018-06-25 11:43:24
360
原创 关于git服务器的一些东西
github,国内用户访问的时候经常会遇到问题比如说访问速度太慢,有的时候还会出现无法连接的状况..所以我们也可以用国内版的github 就是码云,在功能上和国外版的一样,操作使用的流程一样....
2018-06-07 21:17:45
263
原创 git的简单介绍以及使用
在 linux 上安装gitsudo apt-get install git在windows上安装git,直接去官网上去下载 (下载完成后安装) 安装过程中加上以下选择,其他都选默认- -!(反正看不懂)安装成功之后,就会在桌面出现一个图标打开然后我们需要在本地创建一个版本库,任意选一个盘符 cd 进去 然后mkdir 创建一个文件夹cd 进入其中 输入git init然后 git就会把仓库创...
2018-06-07 20:52:11
233
原创 ubuntu下配置vsftpd
vsftpd 是一个完全免费的、开发源代码的ftp服务器软件,支持很多其他的 FTP 服务器所不支持的特征。比如:非常高的安全性需求、带宽限制、良好的可伸缩性、可创建虚拟用户、支持IPv6、速率高等。一般操作系统默认的ftp软件就是vsftpd,今天会谈一下笔者的使用 vsftpd 是以一般身份启动服务,所以对于 Linux 系统的使用权限较低,对于Linux 系统的危害就相对的减低了。此外, v...
2018-06-05 19:34:46
1263
原创 服务器上django项目配置负载均衡
服务器正常需要的nginx和uwsgi的配置就不多说了,前面讲过了,直接开始主题.负载均衡,说白了,所有请求发给A服务器,然后它转发到其它服务器中实现负载均衡Nginx的反向代理反向代理指以代理服务器来接受Internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给Internet上请求连接到客户端,此时代理服务器对外就表现为一个服务器,而此种工作模式类似于LV...
2018-06-05 16:37:53
1308
原创 微信公众号二次开发配置问题
由于我们在 服务器上已经配置过jango项目了,并且用nginx运行了...而且nginx默认运行的端口号是 80, 但是微信二次开发默认运行在80 端口上,,这个端口并不好修改,所以我们修改 nginx的配置文件让其运行在其他端口上.....首先我们找到 nginx的配置文件,配置它的配置文件..然后,我们重启nginx服务然后 在本地上创建一个简单的django框架,把它基本框架搭起来,上传到...
2018-06-01 21:44:20
375
原创 富文本编辑器
1.https://github.com/twz915/DjangoUeditor3下载包,进入包文件夹,找到DjangoUeditor包拷贝到项目下,和xadmin同级目录2.找到项目的settings文件,注册app3.找到项目urls文件,配置DjangoUeditor路由4.找到app下的models,在需要使用富文本框的字段使用UEditorField,相关参数含义可参考文档:https...
2018-05-24 20:40:08
282
原创 mysql的基本用法(2)
2018.4.11 绝对值函数 ABS(x) 和 返回圆周率的函数PI() 和平方根函数SQRT() 和 求余函数 MOD(x,y) 绝对值函数: select abs(2),abs(-3,3),abs(-33); 圆周率的函数: selcect pi(); 平方根函数: select sqrt(9),sqrt(40) 求余函数: select mod(31,8) ...
2018-05-24 09:45:59
233
原创 在ubuntu上部署django项目
首先购买阿里云或者腾讯云的服务器参考链接,cnblogs.com/fnng/p/5268633.html一般 服务器会自带python2.7 和3.5的环境,这里就不需要再安装系统了..相关环境的搭载,如果只是自己的个人服务器,不建议使用虚拟环境,直接安装就可以了 具体安装虚拟环境这里不多讲>命令 sudo passwd 这个可以重新设定你的密码>命令 sudo passwd 密码 ...
2018-05-22 17:34:38
2417
原创 用虚拟机配置ubuntup下搭载python开发环境
首先安装虚拟机然后找到一个ubuntuo开发环境纯净版 下载下来以此解压等到上面的文件,然后进入linux开发环境进入最后一个文件夹然后解压这个得到文件然后,打开虚拟机,找到上面的文件打开 就进入ubuntu系统中....
2018-05-19 16:04:43
781
原创 django中怎么使用自定义管理后台xadmin
首先创建基本的django项目,配置好基本的model ,url,views文件xadmin是基于Django的admin开发的更完善的后台管理系统,页面基于Bootstrap3开发的xadmin的安装,下载地址 https://github.com/sshwsfc/xadmin下载后解压,进入文件夹内部,按shift+右键,选择在此处打开命令行窗口 命令行窗口输入python setup.p...
2018-05-19 15:48:08
3181
原创 Bootstrap3的简单用法
首先我们找到 bootstrap的中文官网,下载我们所需要的基础文件。然后下载 bootstrap的开发环境的包然后解压到桌面,里边包含了3个文件夹 css,js,fonts然而,bootstrap依赖于jquery.min.js这个文件把下载好的jquery.min.js放在js文件下,这样我们就可以来写一些html的文件了。在bootstrap官网为我们提供了许多样式的模板,我们只需要修改之中...
2018-04-23 21:25:01
575
原创 在Django中怎样避免反复书写代码
在常见的简单的html中,我们经常见到这一个分类和下一个的分类网页结构大体相同,这就和python中类的继承的性质,子类可以继承父类的功能和函数,并可以实现重写的功能,这样就大大减少了我们的代码的负担量。首先,如果继承与某一个基础html 在开头加载 {% extends 'base.html' %} 来继承同一文件夹下的一个基础html而把经常变的html模块 放在{% block (名字) ...
2018-04-23 21:05:41
363
原创 在django中怎么单发和群发邮件以及单发和群发不同内容的邮件
正常启动django项目,通过manage.py来创建一个一个项目app,setting中启用这个app来创建一个自己的项目,然后在项目中创建单个的路由地址urls然后在 template中写一个简单的html文件来实现我们发送邮件的功能其中,在form表单标签中,action之后是对应的路由地址,直接对应到urls,经过urls对应到views中的函数完成处理method可以在views中的函数...
2018-04-23 20:41:52
1035
原创 mysql的简单用法(1)
2018.4.10数据库的三大类: 层次式数据库,网络式数据库和关系式数据库数据库是一个长期存储在计算机内的,有组织,有共享的,统一管理的数据集合.数据类型决定了数据在计算机中的存储格式,代表不同的信息类型,常用的数据类型有:整数类型,浮点数数据类型,精确小说类型,日期/时间数据类型,字符串类型,二进制数据类型sql: 对数据库进行查询和修改操作的语言叫做sql.sql的含义是结构化查询语句(Qu...
2018-04-10 21:20:29
301
原创 Mongodb的简单运用
2018.3.30MongoDB是非关系型,非关系型数据库遵循acid规则1.A 原子性 2.C 一致性 3.I 独立性 4.D 持久性这些可以在菜鸟教程中找到。去官网下载完适合自己电脑版本程序。然后打开第一个是自定义扮装目录,第二个是选择目录。 MongoDB将数据目录存在db目录下,但是这个数据目录不会主动创建,我们在安装完成之后需要去创建它。注意这个目录必须安装在基础盘下((如: C:...
2018-03-30 21:23:53
236
原创 pyspdier 的简单使用
1. 下载pyspider pip install pyspider2. 打开命令行工具 输入pyspider启动1. 打开浏览器输入地址,默认端口5000(Flask默认端口),访问1. 点击create创建项目
2018-03-30 16:40:36
558
原创 gerapy的运用
这个链接scrapyd的网页展示界面,让其更易于管理运行,所以是基于scrapyd的基础上让我们减少十分多的操作,方便管理使用,当我们使用scrapyd的时候需要修改较多配置,但是gerapy直接为我们完成这些操作,直接就可以运行进入存放scrapyd的目录下,打开cmd命令,进入虚拟环境,开启scrapyd服务器。然后在集成环境中中安装一下 gerapy,然后在非c盘 下传建一个文件夹,进入文件...
2018-03-27 17:57:00
1795
原创 布隆去重
去重策略1)使用scrapy自带的set集合去重,当程序结束的时候会被清空,缺点:再次运行会导致数据重复。2)使用mysql做去重,对url地址进行md5,base64加密,加密之后会得到一串字符,判断字符串是否在mysql表中,如果在表示已经爬取过了,如果不在,表示没有爬取,执行请求,将加密后的url地址存入表中。缺点: 但是这个方法对mysql压力过大,导致崩溃,不推荐3)使用scrapy_r...
2018-03-27 10:23:44
850
原创 Mysql安装
mysql 安装问题首先安装软件 mysql,一路回车直到账户密码,继续到结束。再把mysql添加到系统的环境变量中去,文件路径是c盘下 programfiles下MYSQL下MYSQL Server下bin的这一串路径添加到环境变量中去。然后在cmd中验证,是否成功。root是管理员账户python3代码中引入mysql 需要安装 pip install pymysqlpython2代码中 安装...
2018-03-26 21:21:59
144
原创 基于scrapy_redis部署scrapy分布式爬虫
1使用命令行下载包 scrapy_redis使用pycharm打开项目,找到settings文件,配置scrapy项目使用的调度器及过滤器这个让scrapy不使用自己的调度器,使用scrapy_redis重写的调度器SCHEDULER = "scrapy_redis.scheduler.Scheduler"这个是让scrapy使用scrapy_redis重写的去重方法,运用redis的去重方法保证...
2018-03-26 21:15:27
924
原创 redis 部署主从关系
Redis属于非关系型数据库修改配置文件(找到redis下的redis.windows.conf) 1. 修改主的配置文件 搜索bind,将后面的ip改成当前服务器ip 2. 修改从的配置文件 搜索slaveof,将该代码解注释,然后添加ip和端口号。注意:端口号必须写(=====只运行redis的情况下 主服务器只修改bind,从服务器只修改slaveif)(===...
2018-03-26 20:57:45
256
原创 redis简单的用法
REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。通常被称为数据结构服务器,因为值(value)可以是 字符串(String), 哈希(Map), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型。Redis 与其他 key - value 缓存产品有以下三个特点:· R...
2018-03-26 20:50:53
158
原创 scrapyd 部署爬虫项目
scrapyd部署爬虫的优势:1、方便监控爬虫的实时运行状态,也可以通过接口调用开发自己的监控爬虫的页面2、方便统一管理,可以同时启动或关闭多个爬虫3、拥有版本控制,如果爬虫出现了不可逆的错误,可以通过接口恢复到之前的任意版本实现功能,爬虫项目在服务器端运行,实现爬虫远程管理,不占用本机的运行空间。==================================================...
2018-03-22 21:01:56
1014
原创 虚拟环境的配置(常用的方法)
前面的方法较为麻烦,不适合平常项目使用。下面有两种的方法可以搭建虚拟环境。安装虚拟环境的目的是为了有一个纯净的底层环境Anaconda也可以创建虚拟环境,这不多讲。第一种: 在D盘中建一个vens的环境统一地址,这样平常哪个项目用到哪个环境就可以在pycharm中settings中配置调用这个虚拟环境 缺点:这个环境是在本地之中,一旦项目发走,另一个使用这个项目的人需要重新去下载搭建环...
2018-03-22 12:16:57
2899
原创 python虚拟环境的搭建,切换(这是最基础最原始的方法)
为什么要使用虚拟环境,各个项目需要的python环境不同,有的用python2.7,有的用3.6等等。而各个版本的各种个第三方包都不同,如果都放在一个环境下容易出现错误,所以使用虚拟环境。首次我们在 一个盘中 把各个使用的python版本下载下来,命名为python2.7,python3.6等等。例如:然后我们想用哪一个环境的话就在计算机的环境变量中,修改所需要的环境变量。这时候搭建的虚拟环境就是...
2018-03-22 10:39:02
3255
原创 scrapy中怎么进行异步插入数据库mysql
import pymysqlfrom twisted.enterprise import adbapifrom pymysql import cursorsclass MSQLPipeline(object): @classmethod def from_setting(cls,settings): db_params = dict( ...
2018-03-21 22:03:48
1670
3
原创 正则表达式函数
#coding:utf-8# re模块是python中内置的用来支持正则表达式的模块import restring = 'hello world'# 1.准备正则pattern = re.compile('world')# 2.使用正则表达式,从大字符串中搜索符合正则的字符串# match() 1.正则表达式 2.要进行查找的大字符串# match() 如果找到结果,返回结果...
2018-03-05 19:46:42
1261
原创 关于爬虫和反爬虫的一些东西
2018.3.5爬虫和反爬虫的斗争==================================================爬虫程序1)编写爬虫代码,发起请求,接收响应,获得数据2)在发起请求时,添加User-agent字段,设置请求间隔。3)发送请求的时候,使用代理ip,设置请求间隔4)注册网站账户,模拟cookie/token登录,发起请求5)使用云代码平台进行验证6)1.抓取js请...
2018-03-05 18:08:11
516
原创 简单的基于resquests查询手机号的归属地址
2018.2.27pthon = "手机号码"url= “”https://www.baifubao.com/callback?cmd=1059&callback=phone&phone=“”+phoneresponse = requests.get(url)把请求成功后的response.text字符串经过切割形成一个json字符串,再把字符串转换为字典拿到json字符串中想要的...
2018-03-03 12:26:19
668
原创 简单的爬虫每日笔记
2018.3.2怎么提升爬虫的效率1)换个性能更好的电脑2)网络使用光纤3)使用多线程爬虫4)使用多进程爬虫5)分布式爬虫6)提升数据的写入速度反反爬虫的应用措施1)随机修改User-Agent2)禁用cookie追踪3)放慢爬虫速度4)使用代理动态更换ip(本机电脑的ip地址不变,动态ip是代理ip)5)分布式(一般用不同区域的电脑,不适用一个局域网下,应为ip地址相同)本地下载数据的一种方法1...
2018-03-02 19:40:03
320
原创 scrapy的基本构架以及简单的用法
2018.3.1爬虫的框架总共有3中常用的分别是: Scrapy,PySpider,Selenium而Selenium 是一款自动测试的框架。常用的是scrapy,scrapy 是python一种爬虫框架,采用的是多线程爬虫的方式,是普通爬虫的方法的5到6倍的速度安装 scrapy 例如:首先第一步:先想好吧爬虫程序放在那里,我们放在桌面以方便管理第二步:通过cmd命令来创建一个爬虫程序这样 通过...
2018-03-01 20:55:07
412
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人