自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

周小董

万物互联,环环相扣。

  • 博客(20)
  • 资源 (1)
  • 收藏
  • 关注

转载 [880]python中获取路径os.getcwd()和os.path.dirname(os.path.realpath(__file__))的区别和对比

Python的os.getcwd()方法和os.path.dirname(os.path.realpath(__file__))这两种方式到底有什么本质区别?通过具体的实验来进行解释。先给出2个目录的结构:(1)PycharmProjects/pythonLearn/dir/dir2/getRootPath.py(2)PycharmProjects/pythonLearn/getPath.py【1】那我们先看看第一个PycharmProjects/pythonLearn/dir/dir2/getR

2020-07-27 21:18:19 446

转载 [879]Win10安装gcc|g++|make

下载安装包:1. MinGW官网下载:http://www.mingw.org  点击右上角Downloads点击下载 mingw-get-setup.exe安装 mingw-get-setup.exe直接默认安装就好了,如果不想安装在C盘,修改的安装路径最好不要有空格(我自己的安装路径有空格好像也没遇到什么问题)安装完之后将MinGW\bin路径添加到系统环境变量里:此电脑->右键“属性”->高级系统设置->高级->环境变量->系统环境变量下找到

2020-07-27 21:17:39 907

转载 [878]if subprocess.call([‘make’, ‘-C’, BASE_DIR]) != 0和FileNotFoundError: [WinError 2] 系统找不到指定的文件

在我调试PSENet代码时候,出现了如下错误:Traceback (most recent call last):File “.\train.py”, line 5, in from pse import decode as pse_decodeFile “D:\wangjianfeng\2020\PSENet.pytorch\pse_init_.py”, line 9, in if subprocess.call([‘make’, ‘-C’, BASE_DIR]) != 0: # return

2020-07-27 21:09:59 1250 7

原创 [877]ModuleNotFoundError:no module named ‘tools.nnwrap‘ 解决办法

使用pip install torch,命令安装torch库,提示如下错误:File "D:\soft\环境变量\TEMP\pip-install-xytf4pyb\torch\setup.py", line 51, in run from tools.nnwrap import generate_wrappers as generate_nn_wrappers ModuleNotFoundError: No module named 'tools.nnwrap'最后在PyTo

2020-07-27 21:09:15 2944

转载 [876]python日志重复输出问题

问题起源:在学习了python的函数式编程后,又接触到了logging这样一个强大的日志模块。为了减少重复代码,应该不少同学和我一样便迫不及待的写了一个自己的日志函数,比如下面这样:import logging# 这里为了便于理解,简单的展示了一个输出到屏幕的日志函数def my_log(): logger = logging.getLogger('mysql.log') ch = logging.StreamHandler() ch.setLevel(logging.E

2020-07-24 22:08:11 565

转载 [875]python chardet检测字符编码

字符串编码一直是令人非常头疼的问题,尤其是我们在处理一些不规范的第三方网页的时候。虽然Python提供了Unicode表示的str和bytes两种数据类型,并且可以通过encode()和decode()方法转换,但是,在不知道编码的情况下,对bytes做decode()不好做。对于未知编码的bytes,要把它转换成str,需要先“猜测”编码。猜测的方式是先收集各种编码的特征字符,根据特征字符判断,就能有很大概率“猜对”。当然,我们肯定不能从头自己写这个检测编码的功能,这样做费时费力。chardet这个第

2020-07-24 22:07:34 3093

转载 [874]python图片转字符串

下面是原始图片代码from PIL import Imageascii_char = list("$@B%8&WM#*oahkbdpqwmZO0QLCJUYXzcvunxrjft/\|()1{}[]?-_+~<>i!lI;:,\"^`'. ")WIDTH = 85 # 字符画的宽HEIGHT = 25 # 字符画的高# 将256灰度映射到70个字符上,也就是RGB值转字符的函数:def get_char(r, g, b, alpha=256): # alpha透明

2020-07-20 22:33:43 907

转载 [873]python处理日期时间arrow库

Python针对日期时间的处理提供了大量的package,类和方法,但在可用性上来看非常繁琐和麻烦第三方库Arrow提供了一个合理的、人性化的方法来创建、操作、格式转换的日期,时间,和时间戳,帮助我们使用较少的导入和更少的代码来处理日期和时间。$ pip install arrow获取当前时间arrow.utcnow(), arrow.now()>>> import arrow>>> utc = arrow.utcnow() # 获取世界标准时间&gt

2020-07-20 22:27:30 1679

转载 [851]反反爬--如何巧过CloudFlare 5秒盾

巧破 Cloudflare 5秒盾相信下面这个界面大家都不会陌生。【图1-1】当我们第一次访问使用 CloudFlare 加速的网站时,网站就会出现让我们等待 5 秒种的提示,当我们需要的通过爬虫爬取这类网站的时候,应该如何爬取呢?分析请求首先我们需要分析在这个等待的时间里浏览器做了哪些操作。通过抓包,我们可以看到在等待的过程中,浏览器做了下面的三次请求【图1-2】- 【图1-4】:【图1-2】请求 1 写入 cookie 字段 __cfduid【图1-3】请求 2 带有疑似加密

2020-07-20 20:14:56 6982 3

原创 [817]JS加密--基础总结

常用的加密有哪些?对称加密(加密解密密钥相同):DES、DES3、AES非对称加密(分公钥私钥):RSA信息摘要算法/签名算法:MD5、HMAC、SHA学习资源推荐冷月大佬的博客 : https://lengyue.me/突破前端反调试–阻止页面不断debugger :https://segmentfault.com/a/1190000012359015岚光的JavaScript反调试和混淆 :https://0x0d.im/archives/javascript-anti-debug-an.

2020-07-19 23:46:55 452

原创 [284]Python使用execjs执行js

总注:使用execjs的难点并不是在execjs这个库, 而是解析JS的过程, 因为没有浏览器的环境, 没有加密源码的依赖。从成千上万行的JS中择出想要的内容,可能是一段孤零零的JS函数,也可能是从几个JS文件去找出各自找出一段JS代码, 并可以通过execjs顺利执行, 这并非易事。需要注意的是: 个别的JS语句, 用execjs返回的结果跟浏览器环境返回的结果是有区别的, 以下是浏览器环境返回的结果。注: 在切换环境时, 当环境不存在不会报错, 会使用默认的环境。另外需要注意的是, 两种方式的区别。

2020-07-19 23:38:06 32700 8

转载 [718]canal的配置详解

canal的配置加载方式介绍配置之前,先了解下canal的配置加载方式:canal配置方式有两种:ManagerCanalInstanceGenerator: 基于manager管理的配置方式,目前alibaba内部配置使用这种方式。大家可以实现CanalConfigClient,连接各自的管理系统,即可完成接入。SpringCanalInstanceGenerator:基于本地spr...

2020-07-19 23:33:12 534

原创 [679]百度搜索小技巧

intitle搜索范围限定在网页标题site搜索范围限定在特定站点中inurl搜索范围限定在url链接中双引号“”和书名号《》精确匹配参考:https://blog.csdn.net/nuoya_1995/article/details/52621323。

2020-07-19 23:11:18 642

原创 [456]selenium触发不同接口短信验证码

参考:https://www.jianshu.com/p/555b0b424e06。

2020-07-19 22:38:45 9159 8

转载 [871]一个Scrapy项目下的多个爬虫如何同时运行

我们知道,如果要在命令行下面运行一个 Scrapy 爬虫,一般这样输入命令:scrapy crawl xxx此时,这个命令行窗口在爬虫结束之前,会一直有数据流动,无法再输入新的命令。如果要运行另一个爬虫,必须另外开一个命令行窗口。我们也知道,可以通过两条Python 代码,在 Python 里面运行 Scrapy 爬虫:from scrapy.cmdline import executeexecute('scrapy crawl xxx'.split())假设我们把这两行代码放在一个Scr

2020-07-19 21:43:42 5792 14

转载 [870]MySQL中update修改数据与原数据相同会再次执行吗

文章目录背景测试环境binlog_format为ROW测试步骤总结binlog_format为STATEMENT测试步骤总结背景本文主要测试MySQL执行update语句时,针对与原数据(即未修改)相同的update语句会在MySQL内部重新执行吗?测试环境MySQL5.7.25Centos 7.4binlog_format为ROW参数root@localhost : (none) 04:53:15> show variables like 'binlog_row_image';

2020-07-19 21:41:41 200

原创 [869]pandas的dataFrame的行列索引操作

文章目录pandas的dataFrame的索引值从1开始DataFrame中指定位置增加删除一行一列pandas中DataFrame修改index、columns名的方法pandas的dataFrame的索引值从1开始假设有一个dataFrame:这里的index的索引列是从0开始的,那么现在我想要让它从1开始怎么做?我搜了几篇文章,发现有的是:df.index = range(len(df)) //这样的data_df = pd.DataFrame({'a':a,},index=list(

2020-07-17 22:06:48 1504

原创 [868]Win10设置定时任务

在windows 中如何定时运行一个任务?解决方法是:使用windows 的“任务计划程序”第1步:在 计算器右击 --> 选择管理 进入如下界面:第2步:选择 系统工具 --> 任务计划程序 ,点击右侧的 “创建基本任务” 或者 “创建任务”,这里我点击创建任务,进入如下界面名称:输入任务名称安全选项:选择适合自己需求的第3步:选择触发器,然后新建触发器设置需要触发的时间第4步:创建任务,点击操作,点击新建程序或脚本:填写可执行的文件路径这里的图片仅供上面

2020-07-17 22:05:28 8627 1

转载 [867]python提取中文地址描述中的省市区信息

简介一个用于提取简体中文字符串中省,市和区并能够进行映射,检验和简单绘图的python模块。举个例子: ["徐汇区虹漕路461号58号楼5楼", "泉州市洛江区万安塘西工业区"] ↓ 转换 |省 |市 |区 |地址 | |上海市|上海市|徐汇区|虹漕路461号58号楼5楼 | |福建省|泉州市|洛江区|万安塘西工业区 |注:“地址”列代表去除了省市区之后的具体地址安装说明代

2020-07-06 22:28:13 8447 10

转载 [866]python3.8使用pip工具安装第三方库遇到 ERROR: Command errored out with exit status报错

问题描述 command: 'd:\program files\python3.8\python.exe' 'd:\program files\python3.8\lib\site-packages\pip\_vendor\pep517\_in_process.py' prepare_metadata_for_build_wheel 'C:\Users\xiao杰\AppData\Local\Temp\tmppemmj51v' cwd: C:\Users\xiao杰\AppData\Lo

2020-07-06 22:19:32 5963 4

python3 使用 thrift 操作hbase 安装hbase-thirft后有一个Hbase报错

python3 使用 thrift 操作hbase 安装hbase-thirft后有一个Hbase报错 使用这个修改完成的Hbase类替换掉原来的Hbase类问题全部解决 主要是因为python版本兼容性带来的问题

2018-09-10

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除