- 博客(81)
- 收藏
- 关注
转载 抖音的 gorgon Python版本
最近经常有朋友向我寻要X-gorgon算法的代码,不要问我是谁?请叫我雷锋。这里只公布python版本的哈,java版本的,感兴趣的朋友可以自己翻译过来,也希望大家有什么好东西能和我一起分享。 这个算法在国外有人出价美金1500,换成人民币也接近一万了吧。 import has...
2021-03-02 17:28:50 1877 6
原创 threading.Lock
#!/usr/bin/python# -*-coding:utf-8-*-import threading# 假定这是你的银行存款:balance = 0block = threading.Lock()def change_it(n): # 先存后取,结果应该为0: global balance block.acquire() balance =...
2018-06-29 15:25:23 270
转载 安装NodeJS
CentOS安装NodeJS在CentOS下安装NodeJS有以下几种方法。使用的CentOS版本为7.2。CentOS其他版本的NodeJS安装大同小异,也可以参看本文的方法。安装方法1——直接部署1.首先安装wgetyum install -y wget1如果已经安装了可以跳过该步2.下载nodejs最新的bin包可以在下载页面https://nodejs.org/en/download/中找...
2018-06-08 09:56:12 216
原创 基于Redis的Bloomfilter去重(基于git上的pybloom修改,误差可测)
1.pybloom.py# -*- encoding: utf-8 -*-from __future__ import absolute_importimport mathimport hashlibfrom pybloom.utils import range_fn, running_python_3from struct import unpack, pack, calcsize...
2018-06-04 11:17:02 783
原创 mongodb使用
1、mongodb中有一个export可以快速导出数据。2、也可以通过命令快速导出想要的字段 如:C:\Program Files (x86)\MongoDB\Server\3.0\bin> .\mongoexport -h 192.168.20.80 --port 6387 -u qxbdev -pFDsaf#m8gxg58#pqJKLD5DS865sghK -d iEnterpr...
2018-03-23 15:28:32 171
转载 爬虫与反爬虫
爬虫和反爬的对抗一直在进行着… 为了帮助更好的进行爬虫行为以及反爬, 今天就来介绍一下网页开发者常用的反爬手段。1. BAN IP :网页的运维人员通过分析日志发现最近某一个IP访问量特别特别大,某一段时间内访问了无数次的网页,则运维人员判断此种访问行为并非正常人的行为,于是直接在服务器上封杀了此人IP。解决方法:此种方法极其容易误伤其他正常用户,因为某一片区域的其他用户可能有着相同的IP,导致服...
2018-03-13 11:58:08 669
原创 第一章: 基于asyncio的异步爬虫迷你框架 Downloader
# _*_ coding: utf-8 _*_# 下载器和中间件执行模块# github链接: https://github.com/xueleilei120/mini_spiderimport loggingimport asyncioimport aiohttpfrom base.https.response import Responsefrom base.core.down
2018-02-01 15:05:23 593
原创 第二章: 基于asyncio的异步爬虫迷你框架 Engine
# _*_ coding: utf-8 _*_# github链接: https://github.com/xueleilei120/mini_spider""" Engine """import asyncioimport signalfrom datetime import datetimeimport logging# try:# import uvloop#
2018-02-01 15:04:54 464
原创 第八章 爬虫中遇到的问题
1.出现 500错误很有可能是 headers有误或者没有添加。2.有的验证码是需要大小写判断的。3.百度联系人抓取 cookie的合并和不合并。4.微信企业名片抓取。anyrproxy找出js然后找到解密入口。5.加密的方式。base64或者个人乱写js加密。6.验证码。7.账号登陆。需要cookie。...
2017-09-05 10:25:32 423
原创 第七章 windows下部署scrapy 本地
一.windows下部署scrapy 本地1.installsa. 安装客户端 (py3scrapy) C:\Users\liuyc>pip install scrapyd-client 主要用来打包爬虫项目b. linux: 可以直接运行打包 (py3scrapy) C:\LinuxShare\ArticleSpider\ArticleSpider>scrapyd-deployw
2017-08-27 15:29:16 984
原创 第六章 慕课网学习-scrapy的暂停与重启
1.scrapy crawl spider lagou -s JOBDIR= job_info/001 将暂停时信息保存到001 (-s是-set的意思)1.不同的spider需要不同的目录2.可以在 settings 和 custome_setting 中设置 JOBDIR= job_info/0013.ctrl-c 后就会将暂停信息保存到001 要想重新开始则 再次运行 scrap
2017-08-25 23:51:28 3119 1
原创 第五章 慕课网学习-随机获取更换用户代理 agent
1.随机获取更换用户代理 agentclass RandomUserAgentMiddleware(object): """ 随机获取更换用户代理 agent """ def __init__(self, crawler): super(RandomUserAgentMiddleware, self).__init__()
2017-08-25 23:46:54 368
原创 第四章 爬取西刺免费代理ip 并应用到scrapy
1.获取免费代理ip#!/usr/bin/env python# -*- coding: utf-8 -*-"""@author: liuyc@file: crawl_xici_ip.py@time: 2017/8/21 23:22@describe:"""import requestsfrom scrapy.selector import Selectorfrom fak
2017-08-25 23:43:58 2211
原创 第三章 将 selenium集成到scrapy中
1.这里是jobbole的spider中的代码class JobboleSpider(scrapy.Spider): name = "jobbole" allowed_domains = ["python.jobbole.com"] start_urls = ['http://python.jobbole.com/all-posts/'] # 自定义设置
2017-08-25 23:38:06 1262
原创 第二章 selenium动态网页请求和模拟jobbole登陆
#!/usr/bin/env python# -*- coding: utf-8 -*-"""@author@file: selenium.py@time: 2017/8/25 8:09@describe:"""from selenium import webdriverfrom scrapy.selector import Selector# 通过selenium启动
2017-08-25 23:29:55 450
原创 TCP/UDP简单理解
1.IP协议负责把数据从一台计算机通过网络发送到另一台计算机。数据被分割成一小块一小块,然后通过IP包发送出去。由于互联网链路复杂,两台计算机之间经常有多条线路,因此,路由器就负责决定如何把一个IP包转发出去。IP包的特点是按块发送,途径多个路由,但不保证能到达,也不保证顺序到达。2.TCP属于网络层,建立在IP协议之上,通过三次握手建立可靠的连接,然后对每个IP包编号,确保对方按顺序
2017-08-20 10:10:33 643
转载 算法复杂度
1. 一次循环for(int i=0;ii++){ //这里运行次数为N次}123412342. 二次循环for(int i=0;i<N;i++){ for(int j=i;j<N;j++) { //此处运行次数:N+N-1+N-2+...+1=1+2+3+...+N=N(N+1)/2 }}for(int i=0;i<N;i++){
2017-08-19 10:55:54 311
转载 第四章 xadmin.views.base
# coding=utf-8import sysimport copyimport functoolsimport datetimeimport decimalfrom functools import update_wrapperfrom inspect import getargspecfrom django import formsfrom django.utils.en
2017-08-16 16:51:01 739 2
转载 第四章 XadminSite
# coding=utf-8import sysfrom functools import update_wrapperfrom django.conf import settingsfrom django.core.exceptions import ImproperlyConfiguredfrom django.db.models.base import ModelBasefrom
2017-08-16 16:49:30 1151
转载 第二章 Xadmin_View
Xadmin系统中主要的AdminView有:BaseAdminView: 所有AdminView的基础类,注册在该View上的插件可以影响所有的AdminView.CommAdminView:用户已经登录后显示的View,也是所有登陆后View的基础类。该View主要作用是创建了Xadmin的通用元素,例如:系统菜单,用户信息等。插件可以通过注册该View来修改这些信息。
2017-08-16 16:48:18 1363
转载 第一章 Xadmin简介
Xadmin文档作者:615chaoge • 2017年8月15日 15:52 快速开始 XadminFor using Xadmin, Django 1.4 needs to be installed and an Admin Site has to be activated.安装使用 pip:pip install django-
2017-08-16 16:46:46 10963 2
原创 python 回收机制
1.引用计数为主,标记清除和分代回收为辅助。2.引用计数:当对象的引用计数为0,python的解释器则会释放该对象的内存。3.标记清除:“标记-清除”是为了解决循环引用的问题。可以包含其他对象引用的容器 对象(比如:list,set,dict,class,instance)都可能产生循环引用。原理:将集 合中对象的引用计数复制一份副本。这个计数副本的唯一作
2017-08-15 15:32:24 414
原创 第五章 Xadmin搭建后台管理系统
1.在github中下载 xadmin源码,在工程根目录下创建extra_apps存放xadmin源码2.创建和extra_apps同级的文件夹apps存放自己的app,然后将users放到下面3.在OnlineNotes下OnlineNotes中的settings假添加 下面路径。以至于在工程运行时可以找到xadmin和其他appimport osimport sys# B
2017-08-03 13:42:06 1533
原创 第四章 自定义user
1.必须第一个创建users app manage.py@OnlineNotes >startapp users 然后会看到文件users 记得将users加入settings中的apps中。修改users model# _*_ encoding=utf-8 _*_# python 自带的一些模块from __future__ import unicode_literals
2017-08-03 00:33:21 365
原创 第三章 修改数据库为mysql并初始化
1.创建数据库1.在settings中修改数据库为DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'onlinenotes', 'USER': 'root', 'PASSWORD': 'pass',
2017-08-03 00:20:02 202
原创 第二章 环境搭建
windows下搭建virtualenv、virtualenvwrapper虚拟环境发表于 2016-10-17 | | 阅读次数 60操作系统: win7virtualenv1. 安装virtualenvpip install virtualenv2. 新建虚拟环境virtualenv bobbyvir注
2017-08-02 23:53:02 300
原创 第一章 搭建在线笔记开始计划
1.在线笔记UI采用bootstrap。以此网站为例。2.django==1.9.8。3.后台为Xadmin 并定义自己的风各和插件。4.使用redis作为点击次数缓存。5.自定义用户的信息,支持修改密码/密码找回和修改头像。6.支持,笔记的增删改查。
2017-08-02 23:44:46 356
原创 第一章 创建爬虫常用命令
1.linux下安装virtualenv sudo apt-get install python-virtualenv pip install virtualenvwrapper 2.创建 py2和py3虚拟环境 virtualenv -p /user/bin/python3 py33.windows pip install virtualenv 4.virtualenv scrapy
2017-07-20 21:56:00 2214 1
原创 99 django 部署常用命令
1.sudo apt-get install nginx2.sudo apt-get install mysql-server3.查看进程 ps aux|grep mysql4.vi /etc/mysql/mysql.conf.d/mysqld.cnf bind-address = 127.0.0.1 windows 改为 0.0.0.05.sudo service mysql resta
2017-02-19 12:21:53 501
转载 1 外网部署django
pythonanywhere只允许用户的一个应用是免费的,但这已经足够做一个博客了,开心之余不免又研究起来,用了一个下午的时间,这个丑陋的博客终于上线了首先你得注册一个用户 http://pythonanywhere.com注册完后你可以在account中了解到免费的用户享受到的权利,500M的自主空间,红框就是你的权利随后你就可以增加一个新的应用,你可以选择语言开发环境选
2017-02-18 09:23:22 2640
原创 django day01 创建在线笔记步奏
1.创建项目2.初始化数据库3.修改userprofile 再次初始化数据库 创建超级用户4.增加xadmin 初始化数据库
2017-02-13 08:47:16 313
原创 django 错误1
SystemCheckError: System check identified some issues:ERRORS:auth.User.groups: (fields.E304) Reverse accessor for 'User.groups' clashes with reverse accessor for 'UserProfile.groups'.HINT: A
2017-02-11 10:10:53 4237 4
转载 python lambda表达式简单用法
python lambda表达式简单用法习条件运算时,对于简单的 if else 语句,可以使用三元运算来表示,即:12345678# 普通条件语句if 1 == 1: name = 'wupeiqi'else:
2017-02-09 15:00:26 778
原创 django1 pycharm创建django
1.在pycharm中 file->新建django项目然后 创建django-server 如下图:然后ctrl+alt+r
2017-02-04 18:02:24 410
转载 酒干倘卖无
引用 一首歌,一个故事,竟然让上亿人看完因此落泪!《酒干倘卖无》是一首80年代从台湾传遍华夏大地的歌曲。“酒干倘卖无”的意思是闽南语“有空酒瓶卖吗?”……这首歌来自于一个真实的故事:一个跛脚的老人靠收集空酒瓶养活自己,老人有些聋哑,不会说话,孤单的一个人,生活够苦的了。有一天他在街上捡到一个孩子,他欣喜异常,认为是上天赐给他唯一的
2017-01-23 14:22:52 521
原创 胡牌算法
"""card_nums = [[11, 3], [12,2], [15,3],[17,1][18,1][19,1],[21,3]]1.将 card_nums 排序2.列子:从 11 开始进行判断 (1)是否有三张若有则取出判断 然后剩余牌是否可以胡。 (2)重新进入能不能胡函数 判断剩下的牌 12是否有三张,没有,则判断有没有两个。有 减掉判断剩余 可不可以胡
2017-01-16 17:46:21 1554
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人