- 博客(51)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 下载安装Gogs
踩坑甚久，记录下脚印安装Githttps://git-scm.com/安装mysqlhttps://dev.mysql.com/安装Gogs（找到最新版本下载即可）https://dl.gogs.io/为压缩包 直接解压即可安装Nssmhttps://nssm.cc/ 官网二、配置1、将Nssm解压后有 以下目录内容，一般机器都是64位，将*/win64目录添加到path环境变量中，便于后期命令执行2、解压后得gogs，记录好相关路径，进入g.
2020-10-30 15:39:53
955
原创 python搭建轻服务，实现上传下载文件
输入命令 建立一个本地服务在哪个文件夹下运行，可从局域网其他位置访问此文件夹下得内容第一种方式python -m http.server port可以指定端口，如果 port 不指定的话默认是8000第二种方式 FTP服务"""pip install pyftplib (安装失败这里下载：[https://pypi.python.org/pypi/pyftpdlib/](https://pypi.python.org/pypi/pyftpdlib/))然后 .
2020-10-30 11:41:36
1271
原创 python 命名空间和作用域
一、Namespace 命名空间Namespace命名空间，命名空间是一个字典（dictionary），它的键就是变量名，它的值就是那些变量的值。命名空间的一大作用是避免名字冲突。python使用命名空间记录变量的轨迹。python中有三个命名空间：局部命名空间（local namespace）：记录了函数的参数和局部定义的变量全局命名空间（global namespace）：记录了模块的变量，包括函数，类，其他导入的模块，模块级的变量和常量内置命名空间（build-in）：存放...
2020-09-15 18:09:07
264
原创 python isinstance得用法记录
isinstanceisinstance() 函数来判断一个对象是否是一个已知的类型，类似 type()。与 type() 区别： type() 不会认为子类是一种父类类型，不考虑继承关系。 isinstance() 会认为子类是一种父类类型，考虑继承关系。 # 语法:isinstance(object, classinfo)"""参数： object -- 实例对象。 classinfo -- 可以是直接或间接类名、基本类型或者由它们组成的元组。返
2020-09-14 17:59:08
2451
原创 python中assert的用法记录
assert说明ASSERT()是一个调试程序时经常使用的宏，在程序运行时它计算括号内的表达式，如果表达式为FALSE(0),程序将报告错误，并终止执行。如果表达式不为0，则继续执行后面的语句。这个宏通常原来判断程序中是否出现了明显非法的数据，如果出现了终止程序以免导致严重后果，同时也便于查找错误。对那些没有意识到用断言的最佳时机的人来说，Python的断言就是检测一个条件，如果条件为真，它什么都不做；反之它触发一个带可选错误信息的AssertionError#断言可以有两...
2020-09-14 17:52:31
1432
原创 python 抛出异常记录
在工作中都会遇到异常报错问题，那么在这抽空码一些内容以作记录。在python中不同的异常可以用不同的类型（python中统一了类与类型，类型即类）去标识，不同的类对象标识不同的异常，一个异常标识一种错误AttributeError #试图访问一个对象没有的树形，比如foo.x，但是foo没有属性xIOError #输入/输出异常；基本上是无法打开文件ImportError #无法引入模块或包；基本上是路径问题或名称错误Indentati.
2020-08-27 10:43:40
3316
1
原创 Python 表示无穷大的数
偶然间在刷题浏览大佬的解题思路时看到了个 `float('inf')` 这么个表示很low的我当时查询了下#可表示无穷大 float('inf')#也可表示无穷小 float('-inf')任何数字都大不过 float('info') ， 小不过 float('-inf')# 如随便给个int变量 xfloat('inf') > x > float('-inf')运算理解#无穷大加上任意一个数字也还是无穷大#...
2020-06-11 15:32:11
7410
原创 中文保存CSV文件乱码解决方法
使用代码保存CSV文件，使用excel表打开 都会有一个小问题，就是乱码的问题。如：瀵掑啲瀹濈彔鎶勮鎴愬姛 鐖嗗彂浼ゅ保存时应该携带如下即可encoding='gb18030'...
2020-04-16 14:11:10
3322
原创 转换 如 & # x4E0A;& # x 6D77; 的编码为中文
如题我们得到某度的一段标签<div class="c-tools" id="tools_3991411268111956563_1" data-tools="{"title":"佛山市汉迪森&#...
2020-01-14 09:56:38
3674
原创 一些app抓包抓不到数据的问题
做爬虫的一般除了大众化的抓包工具进行抓包处理，但是会有一些渠道抓不到包。一下记一次抓不到包的记录,向大佬学习Drony 概述 下载 设置Drony-github问题详解...
2020-01-13 17:32:30
5359
原创 Xshell远程操作liunx图形化桌面
安装全套的xmanager程序打开xshell工具程序，点击文件 > 新建输入主机ip 密码等必要信息点击隧道，英文版本为tunnel勾选红色的选项 1: 转发X11连接到 和2：Xmanager点击确定敲入指令gnome-panel 即可...
2020-01-13 17:26:26
3973
原创 三部操作实现 ubuntu安装图像化桌面
准备工作：Ubuntu server18.04 服务器只需三行代码即可实现ubuntu图像化桌面，看代码1. sudo apt-get install xinit2. sudo apt-get install gdm3. sudo apt-get install ubuntu-desktop重启服务器进入即可可使用vnc进入亦可使用 Xmanager6 进行...
2020-01-13 17:13:06
440
原创 appium使用简记
简单记录下appium的使用方法==================================================================================================搜索输入中英文搜索框输入英文字符或阿拉伯直接调用.send_keys(u"hello")搜索框输入中文字符：desired_caps ...
2019-10-14 16:47:45
446
原创 命令行开放端口
记一次linux开放新端口直接编辑/etc/sysconfig/iptables文件编辑/etc/sysconfig/iptables文件：vi /etc/sysconfig/iptables加入内容并保存：-A INPUT -p tcp -m state --state NEW -m tcp --dport 11111 -j ACCEPT# 11111 为你要开...
2019-10-12 10:37:39
1287
原创 defunct进程的由来及处理
好记性不如烂笔头 记录一次defunct进程的由来及处理：僵尸进程是一个早已 死亡的进程，但在进程表(processs table)中仍占了一个位置(slot)。由于进程表的容量是有限的，所以，defunct进程不仅占用系统的内存资源，影响系统的性能，而且如果其数 目太多，还会导致系统瘫痪。我们知道，每个Unix进程在进程表里都有一个进入点(entry)，核心程序执行该进程时使用...
2019-09-06 11:03:48
5275
原创 报错：RecursionError: maximum recursion depth exceeded in comparison
记录一次爬虫运行报错信息爬虫采用深度优先来爬取，内有递归函数，而后就报错：RecursionError: maximum recursion depth exceeded in comparison网上找寻解决渠道：python默认的递归深度是很有限的（默认是1000），因此当递归深度超过999的样子，就会引发这样的一个异常。def func(n): n += 1 ...
2019-09-05 09:45:14
432
原创 构建自己得代理池
源码链接https://github.com/lilijiajiajiage/proxypool/tree/master在原码基础上稍做修改拉取后修改下setting中自己数据库配置即可使用源码中有注释
2019-08-30 16:10:26
170
原创 微信朋友圈得内容可以爬取吗？看完这篇你心里就有底了
网上搜索爬取微信圈内容，信息量少得可怜，几乎都是第三方库整个微信朋友数量或者微信朋友信息，整个结霸 弄个数据分析。那么朋友圈内容到底可以爬取吗？因为工作需要所以摸索了些门道出来。使用fiddler或者是使用小尿壶（Charles）来进行抓包 几乎是没有什么需要得信息得。或者是使用mitmproxy进行拦截 也是无用得。微信对外得接口少之又少，但有一点是微信公众号可以使用这些获取到...
2019-08-29 10:48:24
5506
5
原创 selenium 执行完毕关闭 chromedriver 进程
记录一下关于python selenium在服务器启动之后 chromedriver进程未自动关闭的问题from selenium.webdriver.chrome.service import Servicedriver_service = Service( 'chromedriver.ext') #括号内填写 驱动路径driver_service.command_...
2019-07-26 15:24:15
6344
原创 无界面ubuntu运行selenium流程
踩过的坑才是值得回味的ubuntu安装chromesudo apt-get install libxss1 libappindicator1 libindicator7wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.debsudo dpkg -i google-chrome*...
2019-07-22 15:09:59
1078
原创 supervisor中对于安装和使用方法简述
supervisor在win系统中不可使用官方默认兼容2.x以上，3.4以下。需要python3.5以上版本的得安装非官方版本当操作系统已经安装好python、pip功能时可直接使用：pip install supervisor #完成安装生成配置文件：会自动生成配置文件，默认是没有配置文件的。不过官方版本的有默认.conf文件内容echo_superv...
2019-07-19 13:53:58
223
原创 关于 ModuleNotFoundError: No module named 'twisted.persisted'
ubuntu install twisted error或者是 import twisted 报错一、下载源码安装pip uninstall twistedwget https://twistedmatrix.com/Releases/Twisted/17.9/Twisted-17.9.0.tar.bz2tar -xvf Twisted-17.9.0.tar...
2019-07-19 10:17:16
1315
原创 error: failed to push some refs to ‘git@github.com:******.git’
创建库git init拉取远程库内容git clone git....对文件进行增改删后 保存缓存git add .提交并注释git commit -m 'add newfile'第一次推送到github 先对接远程库的origingit remote add origin git@github.com:******py.git而后 pus...
2019-07-16 16:46:55
135
原创 分布式进程
分布式进程参考链接：https://www.liaoxuefeng.com/wiki/897692888725344/923057623066752但其中有些坑，下面会记录taskmanager.pyimport queueimport randomfrom multiprocessing.managers import BaseManagertask_queue = ...
2019-07-15 19:43:06
130
原创 关于fiddler证书在手机中下载失败的解决
在手机浏览器上报下错误no root certificate was found. have you enabled https traffic decryption in fiddler yet意思是找不到根证书，到fiddler的安装目录 启动命令行 执行下面一串话makecert.exe -r -ss my -n "CN=DO_NOT_TRUST_FiddlerR...
2019-06-12 20:24:15
5727
1
原创 TextIOWrapper
<class '_io.TextIOWrapper'>with open('id=MS4.json', encoding='utf-8',) as id_json: #打开json包 print(id_json) print(type(id_json))会得到如下内容<_io.TextIOWrapper name='id=MS4.json' mo...
2019-06-01 20:25:17
15843
2
原创 使用pillow简易创建个图形验证码
比较简单直接上代码import randomfrom PIL import Image, ImageDraw, ImageFont, ImageFilter#随机字母def random_str(): return chr(random.randint(65,90))#随机颜色：def random_color(): return (random.randin...
2019-05-29 20:48:33
223
原创 Python装饰器用法
一、装饰器是什么python的装饰器本质上是一个Python函数，它可以让其他函数在不需要做任何代码变动的前提下增加额外功能，装饰器的返回值也是一个函数对象。简单的说装饰器就是一个用来返回函数的函数。它经常用于有切面需求的场景，比如：插入日志、性能测试、事务处理、缓存、权限校验等场景。装饰器是解决这类问题的绝佳设计，有了装饰器，我们就可以抽离出大量与函数功能本身无关的雷同代码并继续重...
2019-05-17 14:21:58
137
原创 scrapy CSS选择器的使用
语法：* 选择所有节点 #container 选择id为container的节点 .container 选择所有class包含container的节点 li a 选取所有li 下所有a节点 ul + p 选取ul后面的第一个p元素 div#container > ul 选取id为container的div的第一个ul子元素 ...
2019-05-16 12:10:23
1029
原创 爬取保存 CSV在exl内出现乱码现象
在sublime效果在exl上效果如下操作打开sublime > File > Save with Encoding > UTF-8 with BOM再打开exl就不会出现乱码现象了
2019-05-16 11:59:07
952
原创 scrapy CSS选择器爬取豆瓣Top250
创建项目：出现如下文件在spiders/ 创建文件 *.py 文件名随意来分析下页面以上我们得知需要的内容我们使用CSS选择器来爬取内容我们来分析下页面可以看都都是在一个 ol下的所有li 里面 总共是25个，这个就是每页的25条我们需要的信息每个li下面 都有个 div class="item" 。 以此为基础爬取个总的打...
2019-05-16 11:52:53
875
原创 scrapy css选择器提取a标签内href属性值
示例Html：<div class='abc'> <a href='https://blog.csdn.net/weixin_41767339'> Hello word! </a></div>response.css("div.abc a::attr(href)").extract()[0]...
2019-05-16 10:47:07
9853
原创 ModuleNotFoundError: No module named 'win32api'错误
在使用scrapy爬虫的过程中，在命令控制台输入scrapy crawl demo 出现ModuleNotFoundError: No module named ‘win32api’错误解决办法就是：安装pywin32进入网站按提示下载 pywin32https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/p...
2019-05-15 17:37:39
2260
原创 爬取饿了么店铺信息
本人小白一枚，编码太low，暂时先跑起来后期再做修改from selenium.webdriver.chrome.options import Optionsfrom selenium import webdriverimport requestsimport Geohashimport urllib.requestimport urllib.parseimport j...
2019-05-14 17:02:09
3506
1
原创 爬取斗鱼房间名,观众人数
（1）首先分析‘’下一页‘’的class变化，如果不是最后一页的时候，‘下一页’的class如下（2）如果到了最后一页，‘下一页’变为隐藏，点击不了，class变为如下（3）找到个房间的名字和观众人数的class（4）代码#!/usr/bin/env python# -*- coding:utf-8 -*-import unittestfrom s...
2019-05-14 16:54:19
1187
原创 Selenium 的基本用法(二) 模拟键盘鼠标操作
Selenium模拟用户的键盘鼠标操作#!/usr/bin/env python # -*- coding:utf-8 -*-from selenium import webdriver # 要想调用键盘按键操作需要引入keys包from selenium.webdriver.common.keys import Keys #创建浏览器对象driver = webd...
2019-05-14 16:47:11
1155
1
原创 ubuntu安装sublime-text
安装 教程及链接如下 http://www.sublimetext.com/docs/3/linux_repositories.html
2018-12-19 23:29:51
206
原创 ubuntu下指令编译安装zlib
zlib python接口，关于zlib在线手册https://docs.python.org/3/library/zlib.html 下载网址创建个文件夹进去后下载sudo mkdir /usr/downcd /usr/downsudo wget http://www.zlib.net/fossils/zlib-1.2.11.tar.gz -tar 解压...
2018-12-19 22:49:17
903
原创 ubuntu16.04安装chrome
打开终端输入sudo wget http://www.linuxidc.com/files/repo/google-chrome.list -P /etc/apt/sources.list.d/wget -q -O - https://dl.google.com/linux/linux_signing_key.pub | sudo apt-key add -sudo apt...
2018-12-19 22:21:36
788
Appium-windows-1.18.2
2020-10-09
phpStudy2016完美版.zip
2019-08-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人