自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

周小董

探索世界,丰富认知。

  • 博客(918)
  • 资源 (1)
  • 收藏
  • 关注

原创 [685]coder的自娱自乐

好看的皮囊千篇一律,有趣的灵魂只有我一个。啄木鸟:哒哒哒哒哒哒哒哒。树:我没病,你别啄了。啄木鸟:没病走两步。树:滚。男孩骑着高头大马来到了悬崖边,回头对着心爱的女孩说:“我最后问你一句,你到底嫁不嫁给我?如果你不嫁给我,我活着也没什么意思,我就从这个山崖跳下去。” 女孩被感动了,对着男孩大喊一声:“嫁!” 马从山崖冲了下去……我对象很好 · · · · · · · · · · · 对马也很好,对狗也很好,对猫也很好,对动物都很好。我爱动物程序员最讨厌的四件事:写注释、.

2020-09-24 23:14:42 175 2

原创 [730]1024程序员趣图

1024程序猿日1024程序猿节简介1024徽标听说程序猿压力没有那么大28岁程序猿接受采访天下第一锅—程序猿@背锅侠,这个锅我不背对方不想跟您说话并向您扔了一个bug需求是这样的,马上上线程序猿对联码出未来,未来已来还记得害你加班改bug吗,没错,害你加班的bug就是我写的听说程序猿有时会通宵加班,所以有了猿宵节(元宵节),哈哈哈送大家一张无bug...

2019-10-24 13:46:31 642

原创 [976]微信小程序的抓取技巧

今天聊下微信小程序的抓取,其实小程序的抓取不难,主要解决抓包和如何调试小程序这两个问题。如果你运用chrome调试已经比较熟练了的话,就手到擒来。先来说小程序抓包问题不用破解的办法如何抓到小程序的包?破解是个费劲的事,一不小心微信账号还可能被封。小程序抓不到包通常就是你手机的安卓系统版本太高和微信APP的版本太高了。版本越高,通常它的安全性就越好。换用安卓系统是4.4的手机和微信APP版本在6.7左右的版本。使用Fiddler或Charles抓包妥妥的。如果你实在没有低安卓系统版本手机和低版本微信,

2021-05-13 23:10:40 14

转载 [975]python requests实现HTTPS客户端的证书导入

最近需要测试一个HTTPS接口,基于CA证书、client key、 client 证书的ssl连接。网上了解到的实现是用python+urllib,import urllib.requestimport sslif __name__ == '__main__': CA_FILE = "ca.crt" KEY_FILE = "client.key" CERT_FILE = "client.crt" context = ssl.SSLContext(ssl.PRO

2021-05-13 22:32:10 21

原创 [974]python execjs execjs._exceptions.ProgramError: ReferenceError: navigator is not defined

问题:execjs._exceptions.ProgramError: ReferenceError: navigator is not defined解决办法:在js文档头部添加如下代码global.navigator={userAgent: 'node.js',};报错:execjs._exceptions.ProgramError: SyntaxError: 缺少标识符、字符串或数字解决:本地安装node.js(注:配环境变量)>>> import execjs&

2021-05-13 22:31:31 11

转载 [973]python3.6中import Crypto.Hash报错

一:问题python3.6中算法加密引入包Crypto报错,即便安装了:pip install cryptopip install pycryptopip install pycryptodome但是仍然悲催的发现引用是报错的:二:模块说明crypto:一个加密解密的库pycrypto:crypto在python上面的名字是pycrypto它是一个第三方库,但是已经停止更新三年了,所以不建议安装这个库pycrytodome:是pyc

2021-05-13 22:30:39 4

原创 [972]requests ValueError: check_hostname requires server_hostname

问题:requests ValueError: check_hostname requires server_hostnameor问题:check_hostname needs a SSL context with either CERT_OPTIONAL or CERT_REQUIRED降低requests版本,原版本2.25.1降低到2.21.0

2021-05-13 22:29:56 6

原创 [971]python命令行神器之Click

文章目录安装例子1方法功能其他属性描述group方法密码输入github:https://github.com/pallets/clickClick 是 Flask 的开发团队 Pallets 的另一款开源项目,它是用于快速创建命令行的第三方模块。我们知道,Python 内置了一个 Argparse 的标准库用于创建命令行,但使用起来有些繁琐,Click 相比于 Argparse,就好比 request

2021-05-09 22:23:38 24

原创 [970]Redis Sadd命令、Srandmember 命令

Sadd命令Redis Sadd 命令将一个或多个成员元素加入到集合中,已经存在于集合的成员元素将被忽略。假如集合 key 不存在,则创建一个只包含添加的元素作成员的集合。当集合 key 不是集合类型时,返回一个错误。注意:在 Redis2.4 版本以前, SADD 只接受单个成员值。语法redis Sadd 命令基本语法如下:redis 127.0.0.1:6379> SADD KEY_NAME VALUE1..VALUEN可用版本:>= 1.0.0返回值被添加到集合中的

2021-05-09 22:22:57 17

转载 [969]如何在docker中部署并启动redis

docker部署redis首先在linux中安装上Docker,然后启动Docker服务Centos7中 启动Docker systemctl start docker //启动docker systemctl stop docker //停止docker systemctl restart docker //重启docker查找想要拉取的镜像1. 直接在Linux中使用docker search 镜像名称 搜索镜像 docker search 镜像名称2.

2021-05-09 22:19:41 24

转载 [968]程序运行时报错:由于找不到mfc110.dll,无法继续执行代码的解决方法

解决方案出现此问题的原因主要是未安装VC++2012和VS2012的组件,自己直接下载安装即可,不用选择路径,一切按照默认进行。Win10环境下载:https://www.microsoft.com/zh-CN/download/details.aspx?id=30679注意:如果是64位的系统需要同时安装x64和x86才行!还有就是如果大家想一次性解决所有以后可能出现的关于dll文件的问题,可以下载这个微软运行库,一次性安装完毕。下面我将附上链接。链接:https://pan.baidu.com

2021-05-07 23:09:24 15

原创 [967]VirtualXposed 不支持32位应用 32位无法安装问题

VirtualXposed 是基于VirtualApp 和 epic 在非ROOT环境下运行Xposed模块的实现(支持5.0~10.0)。与 Xposed 相比,目前 VirtualXposed 有两个限制:1、不支持修改系统(可以修改普通APP中对系统API的调用),因此重力工具箱,应用控制器等无法使用。2、暂不支持资源HOOK,因此资源钩子不会起任何作用;使用资源HOOK的模块,相应的功能不会生效。支持太极但秒杀太极最新版本将不再支持 32 位应用程序解决办法下载较旧的版本0.18.2 是

2021-05-07 23:08:35 114

转载 [966]无需ROOT就能让你用上Xposed框架

如果你曾经了解过搞机的相关内容,想来应该知道 Xposed 框架是怎样的一种存在吧,不清楚的话也无妨,我们一起看一下。Xposed 框架是 Android 系统上的一款神器,它对于任何一个喜欢鼓捣手机的抖 M 来说都是不可或缺的,通过在这个框架上安装特定的某些模块,普通用户都可以很自由很 easy 的 DIY 自己的手机系统,实现许多看起来很复杂很高级的功能。明明这么好用的东西,却由于在之前的使用门槛较高(需要解锁、ROOT 等),导致很多人都难以体验,但是在研究过 Xposed 的工作原理之后,.

2021-05-07 23:06:35 124

原创 [963]Android app代理软件

文章目录VNET——最好用的Android抓包神器proxydroid软件特色proxydroid简单的设置方法VNET——最好用的Android抓包神器VNET是Android平台下功能最强大的网络抓包工具,支持HTTP&HTTPS,TCP&UDP,IPv6&IPv4,多终端显示,功能十分的强大。截图快速上手1、安装VNET,可以从VNET官网或者Google Play 下载最新版本VNET官网:https://www.vnet-tech.com/GoogleP

2021-04-27 22:06:28 44

转载 [961]webmagic

官网:http://webmagic.io/WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic,你可以快速开发出一个高效、易维护的爬虫。特性:简单的API,可快速上手模块化的结构,可轻松扩展提供多线程和分布式支持一个示例:public class GithubRepoPageProcessor implements PageProcessor { private Site site = Site.me().setRetryTimes(3).setSleepTi

2021-04-24 23:26:11 36

转载 [957]Centos配置公钥登陆

1、生成密钥对ssh-keygen -t rsa -b 2048参数说明:-t 加密算法-b bit位数2、切换到将要使用key登陆的用户部署公钥切换用户su admincd到~cd ~创建目录并修改权限。mkdir .sshchmod 700 .ssh配置公钥,将刚才生成的公钥复制到.ssh下并改名authorized_keys,修改权限为600cp ~/test/rsa_id.pem.pub .ssh/mv .ssh/rsa_id.pem.pub .ssh/a

2021-04-13 19:57:39 45

转载 [956]memcached和redis区别

memcached是什么memcached是高性能的分布式内存缓存服务器。一般使用目的是,通过缓存数据库查询结果,减少数据库访问次数,以提高动态web应用的速度、提高可扩展性。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Sjk5n2HV-1618145825412)(//upload-images.jianshu.io/upload_images/13103657-d96289dc8e2fd9bf.png?imageMogr2/auto-orient/strip|i

2021-04-11 20:57:26 54

原创 [955]readability网页内容提取器

文章目录相关阅读1相关阅读2相关阅读3相关阅读1github:https://github.com/buriy/python-readability/pip install readability-lxml使用1>>> import requests>>> from readability import Document>>> response = requests.get('http://example.com')>>&

2021-04-11 20:56:22 53

原创 [954]gerapy配合scrapyd监控爬虫

文章目录简介与安装安装:使用初始化项目初始化数据库运行gerapy服务访问gerapy界面gerapy管理界面的使用部署主机Gerapy 与 scrapyd 有什么关联吗?部署项目github:https://github.com/Gerapy/Gerapy简介与安装Gerapy 是一款分布式爬虫管理框架,支持 Python 3,基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、

2021-03-14 22:57:34 135

原创 [953]mongo创建索引及索引相关方法

文章目录MongoDB 索引索引的类型和属性createIndex() 方法来创建索引1、单键索引①普通单键索引②索引子文档字段(或者"内嵌索引")③唯一索引2、复合索引3、多键值索引(或者"数组索引")4、过期索引(TTL)5、哈希索引(Hashed Index)6、地理位置索引(Geospatial Index)7、文本索引(Text Index)索引操作方法1、查看现有索引2、列出数据库的所有索引3、删除索引4、重建索引5、创建索引的参数索引规则1、查询优化器2、何时查询计划缓存才会变呢?3、联合索引

2021-03-09 21:27:53 84

原创 [953]Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX AVX2

使用tensorflow跑程序时经常报警告:Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX AVX2原因是下载TensorFlow的版本不支持cpu的AVX2编译。可能是因为安装时使用的pip install tensorflow ,这样默认会下载X86_64的SIMD版本。有两种解决办法:1.忽略这个警告,不看它!import os os.environ["TF_CP

2021-03-06 21:47:40 44

原创 [952]itertools.chain()函数

你想在多个对象执行相同的操作,但是这些对象在不同的容器中,你希望代码在不失可读性的情况下避免写重复的循环from itertools import chain a = [1, 2, 3, 4] b = ['x', 'y', 'z'] for x in chain(a, b): print(x) 1 2 3 4 x y z好处:如果采用a+b的方式遍历,那么要求a和b的类型一致,如果数据再大一点会,会消耗内存,而chain是通过创建迭代器,依次返回可迭代对象的元素如何把一

2021-03-06 21:46:58 40

原创 [951]numpy.concatenate()函数

numpy.concatenate() 官方文档numpy.concatenate((a1, a2, …), axis=0, out=None)将具有相同结构的array序列结合成一个arrayaxis是拼接方向,0为横轴,1为纵轴。axis=0,拼接方向为横轴,需要纵轴结构相同,拼接方向可以理解为拼接完成后数量发生变化的方向。>>> a=np.array([1,2,3])>>> b=np.array([11,22,33])>>&g

2021-03-06 21:46:23 36

转载 [950]networkx(图论)是什么

文章目录networkx简介:networkx工具作用:模块加载图分类图属性结点边图属性图遍历绘制图Graph案例networkx(图论)的基本操作networkx简介:官方文档:https://www.osgeo.cn/networkx/reference/classes/graph.html#networkx是Python的一个包,用于构建和操作复杂的图结构,提供分析图的算法。图是由顶点、边和可选的属性构成的数据结构,顶点表示数据,边是由两个顶点唯一确定的,表示两个顶点之间的关系。顶点和边也可以拥

2021-03-05 21:19:44 54

原创 [949]python不定长参数*args和**kwargs

在python语言写成的模块中的函数里,常常可以看到函数的参数表列里面有这两个参数,形如:def some_function(*args, **kwargs): to do list return 0首先,解释星号的作用,一个星号*的作用是将tuple或者list中的元素进行unpack,分开传入,作为多个参数;两个星号**的作用是把dict类型的数据作为参数传入。kwargs是keyword argument的缩写,args就是argument。我们知道,在Python中有两种参数

2021-03-05 21:18:47 31

转载 [948]Pandas数据分组的函数应用(df.apply()、df.agg()和df.transform()、df.applymap())

文章目录apply()函数介绍样例性能比较apply()数据聚合agg()数据转换transform()applymap()将自己定义的或其他库的函数应用于Pandas对象,有以下3种方法:apply():逐行或逐列应用该函数agg()和transform():聚合和转换applymap():逐元素应用函数apply()函数介绍apply函数是pandas里面所有函数中自由度最高的函数。该函数如下:DataFrame.apply(func, axis=0, broadcast=Fals

2021-02-28 22:39:58 90

原创 [947]ImportError: [joblib] Attempting to do parallel computing without protecting

python报错ImportError: [joblib] Attempting to do parallel computing without protecting错误:ImportError: [joblib] Attempting to do parallel computing without protecting your import on a system that does not support forking. To use parallel-computing in a scr

2021-02-28 21:39:31 23

原创 [946]pandas.errors.ParserError: Error tokenizing data

pandas.errors.ParserError: Error tokenizing datamydf = pd.read_csv(filename, encoding=‘utf-8’, error_bad_lines=False) #加上error_bad_lines=False

2021-02-28 21:38:53 31

原创 [945]AttributeError: module ‘pandas‘ has no attribute ‘rolling_mean‘

文章目录AttributeError: module 'pandas' has no attribute 'rolling_mean'AttributeError: module ‘pandas’ has no attribute ‘rolling_mean’moving_avg = pd.rolling_mean(ts_log,12)上面代码报错:AttributeError: module ‘pandas’ has no attribute ‘rolling_mean’解决方法:moving

2021-02-28 21:38:09 28

原创 [944]AttributeError:‘DataFrame‘ object has no attribute ‘sort‘,‘as_matrix‘,‘ix‘

文章目录AttributeError:'DataFrame' object has no attribute 'sort'AttributeError DataFrame object has no attribute as_matrixAttributeError: 'DataFrame' object has no attribute 'ix'AttributeError:‘DataFrame’ object has no attribute ‘sort’解决办法:将“sort”改为“sort_va

2021-02-28 21:35:27 35 3

原创 [943]thefuck的安装和使用

文章目录简介截图示例安装简介你是不是经常在终端敲错命令?敲错命令,删掉重敲,很烦有没有?当你一再敲错的时候,内心一定是崩溃的,一定在默念What The FUCK!。就这样thefuck神器就诞生了。thefuck不仅能修复字符输入顺序的错误,在很多别的你想说fuck的情况下,thefuck依然有效,反正只要你因为命令的问题报错,就请fuck一下。thefuck是一个使用Python编写的开源小工具,它可以自动纠正前一个命令的拼写错误。这个工具非常酷,尤其对于常常使用命令行的童鞋。thefuck支持

2021-02-19 22:53:03 95

原创 [942]IndexError: boolean index did not match indexed array along dimension 0

在学习回归算法的时候,使用sklearn.linear_model下的RandomizedLogisticRegression(下列简称为RLR)来做预测但是总是会遇到下面这个错误:IndexError: boolean index did not match indexed array along dimension 0; dimension is 9 but corresponding boolean dimension is 8之后就想看下这个get_support()函数原型,找到官方文档,截个

2021-02-17 21:36:51 231 2

原创 《python数据分析与挖掘实战》笔记第5章

文章目录第5章:挖掘建模5.1、分类与预测5.1.1、实现过程5.1.2、常用的分类与预测算法5.1.3、回归分析5.1.4、决策树5.1.5、人工神经网络5.1.7、 Python分类预测模型特点5.2、聚类分析第5章:挖掘建模5.1、分类与预测分类和预测是预测问题的两种主要类型,分类主要是预测分类标号(离散属性),而预测 主要是建立连续值函数模型,预测给定自变量对应的因变量的值。5.1.1、实现过程(1)分类分类是构造一个分类模型,输入样本的属性值,输岀对应的类别,将每个样本映射到预先定义好

2021-02-13 22:36:50 702 3

原创 《python数据分析与挖掘实战》笔记第4章

文章目录第4章:数据预处理4.1、数据清洗4.1.1、缺失值处理4.1.1、异常值处理4.2、数据集成4.2.1、实体识别4.2.2、冗余属性识别4.3、数据变换4.3.1、简单函数变换4.3.2、规范化4.3.3、连续属性离散化4.3.4、属性构造4.3.5、小波变换4.4、数据规约4.4.1、属性规约4.4.2、数值规约4.5、Python主要数据预处理函数4.6、小结第4章:数据预处理数据预处理一方面是要提高数据的质量,另一方面是要让 数据更好地适应特定的挖掘技术或工具。统计发现,在数据挖掘的过程

2021-02-13 22:35:42 457

原创 《python数据分析与挖掘实战》笔记第3章

文章目录第3章:数据探索3.1、数据质量分析3.2、数据特征分析3.2.1、分布分析3.2.2、对比分析3.2.3、统计量分析1.集中趋势度量2.离中趋势度量3.2.4、周期性分析3.2.5、贡献度分析3.2.6、相关性分析1. 直接绘制散点图2. 绘制散点图矩阵3. 计算相关系数3.3、python主要数据探索函数3.3.1、基本统计特征函数corr()cov()skew/kurt3.3.2、拓展统计特征函数3.3.3、统计作图函数(1) plot(2) pie(3) hist(4) boxplot(5)

2021-02-13 22:33:20 312

原创 《python数据分析与挖掘实战》笔记第2章

文章目录第2章:python数据分析简介2.2、python使用入门2.2.3、数据结构(1)列表/元组(2)字典(3)集合(4)函数式编程2.2.4、库的导入与添加2.3、python数据分析工具2.3.1、numpy2.3.2、scipy2.3.3、matplotlib2.3.4、pandas2.3.5、statsmodels2.3.6、scikit-learn2.3.7、keras2.3.8、gensim第2章:python数据分析简介2.2、python使用入门2.2.3、数据结构pytho

2021-02-13 22:30:47 82

原创 《python数据分析与挖掘实战》笔记第1章

文章目录第1章:数据挖掘基础1.3、数据挖掘的基本任务1.4、数据挖掘建模过程1.4.1、 定义挖掘目标1.4.2、 数据取样1.4.3、数据探索1.4.4、数据预处理1.4.5、挖掘建模1.4.6、模型评价1.5、常用的数据挖掘建模工具第1章:数据挖掘基础数据挖掘是从大量数据(包括文本)中挖掘出隐含的、先前未知的、对决策有潜在价值的关系、模式和趋势,并用这些知识和规则建立用于决策支持的模型,提供预测性决策支持的方法、工具和过程。1.3、数据挖掘的基本任务数据挖掘的基本任务包括利用分类与预测、聚类分

2021-02-13 22:26:58 101

原创 [941]mnist数据集问题

文章目录raise IOError, 'Not a gzipped file'from tensorflow.examples.tutorials.mnist import input_data在未来的版本中将被移除解决方法raise IOError, ‘Not a gzipped file’There is an error:File "tensorflow/models/image/mnist/convolutional.py", line 59, in extract_data byte

2021-01-31 21:38:00 36

转载 [940]TensorFlow练习4: CNN, Convolutional Neural Networks

Convolutional Neural Networks翻译为卷积神经网络,常用在图像识别和语音分析等领域。CNN详细介绍参看:https://en.wikipedia.org/wiki/Convolutional_neural_networkhttp://blog.csdn.net/zouxy09/article/details/8781543http://deeplearning.net/tutorial/lenet.html使用TensorFlow创建CNN# -*- coding:u

2021-01-31 21:35:40 71 2

转载 [938]深度学习之CNN简介

文章目录深度学习概述CNN(卷积神经网络)层级结构数据输入层卷积计算层Relu激活层池化层全连接层正则化典型结构深度学习概述传统的机器学习和深度学习一个很重要的差别就是特征的自动提取。深度学习现在更适合处理一些原始信息的特征,比如图片识别,音频,视频等。比如图片可以通过像素作为原始的特征,通过卷积神经网络不断的提取特征,最后再在这些特征上进行学习。对于音频就是通过声音的声波作为特征。 深度学习可以参考书籍:https://item.jd.com/12128543.html 深度学

2021-01-24 21:35:10 103

python3 使用 thrift 操作hbase 安装hbase-thirft后有一个Hbase报错

python3 使用 thrift 操作hbase 安装hbase-thirft后有一个Hbase报错 使用这个修改完成的Hbase类替换掉原来的Hbase类问题全部解决 主要是因为python版本兼容性带来的问题

2018-09-10

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除