- 博客(81)
- 收藏
- 关注
RSS订阅转载 抖音的 gorgon Python版本
最近经常有朋友向我寻要X-gorgon算法的代码，不要问我是谁？请叫我雷锋。这里只公布python版本的哈，java版本的，感兴趣的朋友可以自己翻译过来，也希望大家有什么好东西能和我一起分享。 这个算法在国外有人出价美金1500，换成人民币也接近一万了吧。 import has...
2021-03-02 17:28:50
1792
6
原创 threading.Lock
#!/usr/bin/python# -*-coding:utf-8-*-import threading# 假定这是你的银行存款:balance = 0block = threading.Lock()def change_it(n): # 先存后取，结果应该为0: global balance block.acquire() balance =...
2018-06-29 15:25:23
256
转载 安装NodeJS
CentOS安装NodeJS在CentOS下安装NodeJS有以下几种方法。使用的CentOS版本为7.2。CentOS其他版本的NodeJS安装大同小异，也可以参看本文的方法。安装方法1——直接部署1.首先安装wgetyum install -y wget1如果已经安装了可以跳过该步2.下载nodejs最新的bin包可以在下载页面https://nodejs.org/en/download/中找...
2018-06-08 09:56:12
201
原创 基于Redis的Bloomfilter去重（基于git上的pybloom修改，误差可测）
1.pybloom.py# -*- encoding: utf-8 -*-from __future__ import absolute_importimport mathimport hashlibfrom pybloom.utils import range_fn, running_python_3from struct import unpack, pack, calcsize...
2018-06-04 11:17:02
769
原创 mongodb使用
1、mongodb中有一个export可以快速导出数据。2、也可以通过命令快速导出想要的字段 如：C:\Program Files (x86)\MongoDB\Server\3.0\bin> .\mongoexport -h 192.168.20.80 --port 6387 -u qxbdev -pFDsaf#m8gxg58#pqJKLD5DS865sghK -d iEnterpr...
2018-03-23 15:28:32
164
转载 爬虫与反爬虫
爬虫和反爬的对抗一直在进行着… 为了帮助更好的进行爬虫行为以及反爬， 今天就来介绍一下网页开发者常用的反爬手段。1. BAN IP ：网页的运维人员通过分析日志发现最近某一个IP访问量特别特别大，某一段时间内访问了无数次的网页，则运维人员判断此种访问行为并非正常人的行为，于是直接在服务器上封杀了此人IP。解决方法：此种方法极其容易误伤其他正常用户，因为某一片区域的其他用户可能有着相同的IP，导致服...
2018-03-13 11:58:08
659
原创 第一章： 基于asyncio的异步爬虫迷你框架 Downloader
# _*_ coding: utf-8 _*_# 下载器和中间件执行模块# github链接： https://github.com/xueleilei120/mini_spiderimport loggingimport asyncioimport aiohttpfrom base.https.response import Responsefrom base.core.down
2018-02-01 15:05:23
581
原创 第二章： 基于asyncio的异步爬虫迷你框架 Engine
# _*_ coding: utf-8 _*_# github链接： https://github.com/xueleilei120/mini_spider""" Engine """import asyncioimport signalfrom datetime import datetimeimport logging# try:# import uvloop#
2018-02-01 15:04:54
446
原创 第八章 爬虫中遇到的问题
1.出现 500错误很有可能是 headers有误或者没有添加。2.有的验证码是需要大小写判断的。3.百度联系人抓取 cookie的合并和不合并。4.微信企业名片抓取。anyrproxy找出js然后找到解密入口。5.加密的方式。base64或者个人乱写js加密。6.验证码。7.账号登陆。需要cookie。...
2017-09-05 10:25:32
417
原创 第七章 windows下部署scrapy 本地
一.windows下部署scrapy 本地1.installsa. 安装客户端 (py3scrapy) C:\Users\liuyc>pip install scrapyd-client 主要用来打包爬虫项目b. linux: 可以直接运行打包 (py3scrapy) C:\LinuxShare\ArticleSpider\ArticleSpider>scrapyd-deployw
2017-08-27 15:29:16
967
原创 第六章 慕课网学习-scrapy的暂停与重启
1.scrapy crawl spider lagou -s JOBDIR= job_info/001 将暂停时信息保存到001 (-s是-set的意思)1.不同的spider需要不同的目录2.可以在 settings 和 custome_setting 中设置 JOBDIR= job_info/0013.ctrl-c 后就会将暂停信息保存到001 要想重新开始则 再次运行 scrap
2017-08-25 23:51:28
3105
1
原创 第五章 慕课网学习-随机获取更换用户代理 agent
1.随机获取更换用户代理 agentclass RandomUserAgentMiddleware(object): """ 随机获取更换用户代理 agent """ def __init__(self, crawler): super(RandomUserAgentMiddleware, self).__init__()
2017-08-25 23:46:54
359
原创 第四章 爬取西刺免费代理ip 并应用到scrapy
1.获取免费代理ip#!/usr/bin/env python# -*- coding: utf-8 -*-"""@author: liuyc@file: crawl_xici_ip.py@time: 2017/8/21 23:22@describe:"""import requestsfrom scrapy.selector import Selectorfrom fak
2017-08-25 23:43:58
2202
原创 第三章 将 selenium集成到scrapy中
1.这里是jobbole的spider中的代码class JobboleSpider(scrapy.Spider): name = "jobbole" allowed_domains = ["python.jobbole.com"] start_urls = ['http://python.jobbole.com/all-posts/'] # 自定义设置
2017-08-25 23:38:06
1238
原创 第二章 selenium动态网页请求和模拟jobbole登陆
#!/usr/bin/env python# -*- coding: utf-8 -*-"""@author@file: selenium.py@time: 2017/8/25 8:09@describe:"""from selenium import webdriverfrom scrapy.selector import Selector# 通过selenium启动
2017-08-25 23:29:55
440
原创 TCP/UDP简单理解
1.IP协议负责把数据从一台计算机通过网络发送到另一台计算机。数据被分割成一小块一小块，然后通过IP包发送出去。由于互联网链路复杂，两台计算机之间经常有多条线路，因此，路由器就负责决定如何把一个IP包转发出去。IP包的特点是按块发送，途径多个路由，但不保证能到达，也不保证顺序到达。2.TCP属于网络层，建立在IP协议之上，通过三次握手建立可靠的连接，然后对每个IP包编号，确保对方按顺序
2017-08-20 10:10:33
620
转载 算法复杂度
1. 一次循环for(int i=0;ii++){ //这里运行次数为N次}123412342. 二次循环for(int i=0;i<N;i++){ for(int j=i;j<N;j++) { //此处运行次数:N+N-1+N-2+...+1=1+2+3+...+N=N(N+1)/2 }}for(int i=0;i<N;i++){
2017-08-19 10:55:54
300
转载 第四章 xadmin.views.base
# coding=utf-8import sysimport copyimport functoolsimport datetimeimport decimalfrom functools import update_wrapperfrom inspect import getargspecfrom django import formsfrom django.utils.en
2017-08-16 16:51:01
727
2
转载 第四章 XadminSite
# coding=utf-8import sysfrom functools import update_wrapperfrom django.conf import settingsfrom django.core.exceptions import ImproperlyConfiguredfrom django.db.models.base import ModelBasefrom
2017-08-16 16:49:30
1131
转载 第二章 Xadmin_View
Xadmin系统中主要的AdminView有：BaseAdminView: 所有AdminView的基础类，注册在该View上的插件可以影响所有的AdminView.CommAdminView:用户已经登录后显示的View，也是所有登陆后View的基础类。该View主要作用是创建了Xadmin的通用元素，例如：系统菜单，用户信息等。插件可以通过注册该View来修改这些信息。
2017-08-16 16:48:18
1349
转载 第一章 Xadmin简介
Xadmin文档作者：615chaoge • 2017年8月15日 15:52 快速开始 XadminFor using Xadmin, Django 1.4 needs to be installed and an Admin Site has to be activated.安装使用 pip:pip install django-
2017-08-16 16:46:46
10872
2
原创 python 回收机制
1.引用计数为主，标记清除和分代回收为辅助。2.引用计数：当对象的引用计数为0，python的解释器则会释放该对象的内存。3.标记清除：“标记-清除”是为了解决循环引用的问题。可以包含其他对象引用的容器 对象（比如：list，set，dict，class，instance）都可能产生循环引用。原理：将集 合中对象的引用计数复制一份副本。这个计数副本的唯一作
2017-08-15 15:32:24
385
原创 第五章 Xadmin搭建后台管理系统
1.在github中下载 xadmin源码，在工程根目录下创建extra_apps存放xadmin源码2.创建和extra_apps同级的文件夹apps存放自己的app,然后将users放到下面3.在OnlineNotes下OnlineNotes中的settings假添加 下面路径。以至于在工程运行时可以找到xadmin和其他appimport osimport sys# B
2017-08-03 13:42:06
1516
原创 第四章 自定义user
1.必须第一个创建users app manage.py@OnlineNotes >startapp users 然后会看到文件users 记得将users加入settings中的apps中。修改users model# _*_ encoding=utf-8 _*_# python 自带的一些模块from __future__ import unicode_literals
2017-08-03 00:33:21
350
原创 第三章 修改数据库为mysql并初始化
1.创建数据库1.在settings中修改数据库为DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'onlinenotes', 'USER': 'root', 'PASSWORD': 'pass',
2017-08-03 00:20:02
196
原创 第二章 环境搭建
windows下搭建virtualenv、virtualenvwrapper虚拟环境发表于 2016-10-17 | | 阅读次数 60操作系统： win7virtualenv1. 安装virtualenvpip install virtualenv2. 新建虚拟环境virtualenv bobbyvir注
2017-08-02 23:53:02
289
原创 第一章 搭建在线笔记开始计划
1.在线笔记UI采用bootstrap。以此网站为例。2.django==1.9.8。3.后台为Xadmin 并定义自己的风各和插件。4.使用redis作为点击次数缓存。5.自定义用户的信息，支持修改密码/密码找回和修改头像。6.支持，笔记的增删改查。
2017-08-02 23:44:46
338
原创 第一章 创建爬虫常用命令
1.linux下安装virtualenv sudo apt-get install python-virtualenv pip install virtualenvwrapper 2.创建 py2和py3虚拟环境 virtualenv -p /user/bin/python3 py33.windows pip install virtualenv 4.virtualenv scrapy
2017-07-20 21:56:00
2193
1
原创 99 django 部署常用命令
1.sudo apt-get install nginx2.sudo apt-get install mysql-server3.查看进程 ps aux|grep mysql4.vi /etc/mysql/mysql.conf.d/mysqld.cnf bind-address = 127.0.0.1 windows 改为 0.0.0.05.sudo service mysql resta
2017-02-19 12:21:53
487
转载 1 外网部署django
pythonanywhere只允许用户的一个应用是免费的，但这已经足够做一个博客了，开心之余不免又研究起来，用了一个下午的时间，这个丑陋的博客终于上线了首先你得注册一个用户 http://pythonanywhere.com注册完后你可以在account中了解到免费的用户享受到的权利，500M的自主空间，红框就是你的权利随后你就可以增加一个新的应用，你可以选择语言开发环境选
2017-02-18 09:23:22
2619
原创 django day01 创建在线笔记步奏
1.创建项目2.初始化数据库3.修改userprofile 再次初始化数据库 创建超级用户4.增加xadmin 初始化数据库
2017-02-13 08:47:16
301
原创 django 错误1
SystemCheckError: System check identified some issues:ERRORS:auth.User.groups: (fields.E304) Reverse accessor for 'User.groups' clashes with reverse accessor for 'UserProfile.groups'.HINT: A
2017-02-11 10:10:53
4189
4
转载 python lambda表达式简单用法
python lambda表达式简单用法习条件运算时，对于简单的 if else 语句，可以使用三元运算来表示，即：12345678# 普通条件语句if 1 == 1: name = 'wupeiqi'else:
2017-02-09 15:00:26
762
原创 django1 pycharm创建django
1.在pycharm中 file->新建django项目然后 创建django-server 如下图：然后ctrl+alt+r
2017-02-04 18:02:24
402
转载 酒干倘卖无
引用 一首歌，一个故事，竟然让上亿人看完因此落泪!《酒干倘卖无》是一首80年代从台湾传遍华夏大地的歌曲。“酒干倘卖无”的意思是闽南语“有空酒瓶卖吗？”……这首歌来自于一个真实的故事：一个跛脚的老人靠收集空酒瓶养活自己，老人有些聋哑，不会说话，孤单的一个人，生活够苦的了。有一天他在街上捡到一个孩子，他欣喜异常，认为是上天赐给他唯一的
2017-01-23 14:22:52
500
原创 胡牌算法
"""card_nums = [[11, 3], [12,2], [15,3],[17,1][18,1][19,1],[21,3]]1.将 card_nums 排序2.列子：从 11 开始进行判断 （1）是否有三张若有则取出判断 然后剩余牌是否可以胡。 （2）重新进入能不能胡函数 判断剩下的牌 12是否有三张，没有，则判断有没有两个。有 减掉判断剩余 可不可以胡
2017-01-16 17:46:21
1513
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人