自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

CLOUD SERVICES

Python | 数据挖掘 | 数据分析 | 高并发数据采集

原创 django 2.x创建sql表的外键

运行环境 : django 2.1 from django.db import models # Create your models here. class Grade(models.Model): g_name = models.CharField(max_length=32)...

2020-01-12 16:01:32

阅读数 36

评论数 0

原创 科学上网之selenium半自动化处理

我们有时候访问某站的时候一出来就是验证码,但是爬虫工作者不喜欢呢,有些时候,我们可以稍微欺骗一下哪些网站,先让他们知道我们前一步骤是认为访问的,他们相信了以后我们就赶紧换人,让机器自己上 selenium有一个远程调试的功能,这个地方就很有意思了,给你指定的IP和端口号,自己连去吧 所以我们只...

2020-01-05 18:06:59

阅读数 24

评论数 0

原创 科学上网之selenium的检测与突破

selenium 是一个很友好的网站调试工具,但是很多人都用来做爬虫,其实我也是用来做爬虫,毕竟好东西要共享,哈哈 在做静态网页的请求的时候,普通的http/https可以很轻松的搞定,但是面对动态网页,很多内容都是通过后面的js加载出来的,如果还要用协议解决,希望你遇到的问题可以解决。 在爬...

2020-01-05 17:46:45

阅读数 39

评论数 0

原创 科学上网之python+selenium+mitmproxy

做爬虫最大的困扰就是对方的反爬措施,最好不要强攻,能绕过就绕过,毕竟上网需要科学 selenium 指纹被做了记号如何破?这个时候说明对方已经检测了你的行为特征,这是一个比较严肃的问题,尤其是在破解滑动验证码的时候 大厂的技术团队还是给了我们一个更难解决的问题,就是通过js 给 webdriv...

2020-01-05 17:43:54

阅读数 185

评论数 0

原创 如何在centos上面安装python3

CentOS 7 默认自带了 Python 2.7 版本,但是很多时候,我们需要用 Python 3.x 来做开发,本片介绍用 CentOS 7 来安装 Python 3.x 。这里只介绍一种。 本文以为 Python 3.7.0 作为安装啊示例 下面开始进行安装步骤解读: 1. 首先需要下...

2019-12-22 16:30:57

阅读数 33

评论数 0

原创 Pycharm读取的文件数据集过大,浪费时间怎么办

用 python 做开发的时候,大部分人都喜欢用Pycharm ,而深度学习在训练模型的时候往往需要的数据集往往很大,从而导致Pycharm 在读取的时候会浪费很多时间,时间上他读取的这些数据集在代码中也不会有所体现,那么问题来了,这么多的数据 Pycharm 逐个读取很浪费时间的,下面是总结出的...

2019-12-19 20:17:57

阅读数 24

评论数 0

原创 手机app数据的爬取之mitmproxy安装途径

github地址 :https://github.com/mitmproxy/mitmproxy/releases/ mitmproxy下载地址 :https://mitmproxy.org/downloads/ 参考 :https://www.cnblogs.com/yunlonga...

2019-11-04 18:30:13

阅读数 16

评论数 0

原创 OpenCV-Python 读取视频方法

运行环境 : Python 3.6.0 读取视频 : import cv2 as cv video = cv.VideoCapture('./test.mp4') # 读取视频文件 fps = video.get(cv.CAP_PROP_FPS) # 获取视频每...

2019-11-04 17:03:26

阅读数 33

评论数 0

原创 MongoDB 4.2.1的下载安装配置

下载MongoDB : 下载之前可以参考一下版本选择: MongoDB的版本命名规范如:x.y.z; y为奇数时表示当前版本为开发版,如:2.3.0、2.1.1; y为偶数时表示当前版本为稳定版,如:2.0.1、2.2.0; 我在这里用的是4.0.6 官网下载mongoDB的最新稳...

2019-11-02 14:25:36

阅读数 1327

评论数 0

转载 pyppeteer(python版puppeteer)基本使用

一、前言 以前使用selenium的无头浏览器,自从phantomjs2016后慢慢不更新了之后,selenium也开始找下家,这时候谷歌的chrome率先搞出来无头浏览器并开放了各种api,随后firefox也开始做。 现在selenium的测试也都支持这两个浏览器的无头模式了,只需要在引入的...

2019-11-01 15:12:10

阅读数 64

评论数 0

原创 vim中文乱码问题解决方案

.vimrc 是vim的一个配置文件,一般将其放置于家目录下,vim只要已启动,就会自动寻找这个文件进行启动配置,不管是什么操作系统,都是将其放在家目录下。 在.vimrc文件中添加如下内容,对用vim编辑器打开的文件编码进行一次重定向 set fileencodings=utf-8,ucs...

2019-10-31 22:41:27

阅读数 7

评论数 0

原创 关于python2的sys.setdefaultencoding("utf-8")

# 注意,Python2 . x默认编码环境是ASCII,当和取回的数据编码格式不一致时,可能会造成乱码: # 我们可以指定保存内容的编码格式,一般情况下, 我们可以在代码最上方添加: import sys reload(sys) sys.setdefaultencoding("...

2019-10-30 21:26:03

阅读数 54

评论数 0

原创 Scrapy爬虫数据架构图

Scrapy是基于用Python写的一个流行的事件驱动网络框架Twisted编写的。因此,它使用非阻塞(即异步)代码实现并发。 旧版Scrapy架构图 : 新版Scrapy架构图 : Scrapy中的数据流由执行引擎控制,如下所示: Engine获得从爬行器中爬行的初始请求。 E...

2019-10-29 23:10:43

阅读数 32

评论数 0

转载 Python环境和Django版本对应

Python环境与Django版本存在对应关系,我在Python3.7中创建Django1.11的时候就因为版本不对应产生了语法错误。挺让人无奈的也是,所以决定了解一下Python环境与Django版本之间的关系。 Python环境与Django版本对应表: Django version ...

2019-10-28 21:58:57

阅读数 11

评论数 0

转载 grafana报警配置并发送邮件

grafana介绍 Grafana是一个可视化面板(Dashboard),有着非常漂亮的图表和布局展示,功能齐全的度量仪表盘和图形编辑器,支持Graphite、zabbix、InfluxDB、Prometheus和OpenTSDB作为数据源。Grafana主要特性:灵活丰富的图形化选项;可以混...

2019-10-28 17:05:08

阅读数 24

评论数 0

原创 影视 "少年的你" 最大bug之手机出戏

今天打开影视网站 , 看了一下 <<少年的你>> 这部电影 , 5分钟不到 , 仅仅5分钟 , 天大的bug出现了 , , , ---- 2011年都开始用智能手机了 , 而且还是全面屏齐刘海的 , 连2011年刚上线的微信都用上了 , 而且还带上了撤回功能 , , , ...

2019-10-28 13:25:21

阅读数 68

评论数 0

原创 影视 "少年的你" 最大bug之手机出戏

今天打开影视网站 , 看了一下 <<少年的你>> 这部电影 , 5分钟不到 , 仅仅5分钟 , 天大的bug出现了 , , , ---- 2011年都开始用智能手机了 , 而且还是全面屏的 , 连2011年刚上线的微信都用上了 , 而且还带上了撤回功能 , , , 正常...

2019-10-28 13:21:51

阅读数 29

评论数 0

转载 Ubuntu下安装&卸载apache2服务

1.安装apache2 安装命令:sudo apt-get install apache2 启动/停止/重启apache2: service apache2 start/stop/restart 2. 卸载apache2 之前卸载重新安装后找不到apache2.conf配置文件,测试使...

2019-10-28 12:29:40

阅读数 17

评论数 0

原创 win10 ubuntu子系统的卸载和重装

win10 ubuntu子系统在使用,各种折腾以后应该何去何从呢 , 依靠lxrun命令 , 在命令行敲入lxrun命令以后,这是窗口显示 (win + r -> cmd -> lxrun) : C:\Users\Administrator>lxrun 对 LX 子系统执行...

2019-10-27 21:28:35

阅读数 46

评论数 0

转载 Win10安装Ubuntu子系统及图形化界面详细教程

在准备进行安装之前,推荐C盘上至少有5G的空余空间。 1win10设置 打开两个设置: 1.开发人员模式: 2.启用子系统功能 2 安装 打开Microsoft Store,搜索Ubuntu,出现如下界面: 选择我红框框出来的两个版本,不要选第一个,那个有坑。安装速度还是...

2019-10-27 17:50:41

阅读数 57

评论数 0

原创 ubuntu16.04 vim配置方案

1. 新建/打开vim配置文件.vimrc 在终端里输入 : vi ~/.vimrc (vimrc是vim的配置文件 , 每次打开vim时会自动加载这个文件里的配置 , .vimrc是隐藏的vim配置文件) 2. .vim的配置文件的代码如下:直接复制到 .vimrc中保存即可 也可根据自...

2019-10-24 10:19:17

阅读数 31

评论数 0

原创 ubuntu切换至root用户

打开ubuntu , 输入命令 : su root , 回车提示输入密码 , 怎么输入都不对 , 那是因为刚装过的ubuntu操作系统没有为root用户设置密码 , 需要为root用户设置密码之后才可进入 . 1. 给root用户设置密码 : sudo passwd root 输入本次...

2019-10-24 09:16:40

阅读数 16

评论数 0

原创 ubuntu 可执行文件 ls 可以看到,执行时却提示不存在

首先,Ubuntu系统是 64 位的,而你的可执行程序是 32 位的,需要支持32位的运行库ia32-libs . 使用下面的命令 : sudo apt-get install ia32-libs 然后在执行可执行程序之前执行一次一下操作 : chmod +x 要执行的文件名 ...

2019-10-23 17:29:52

阅读数 43

评论数 0

转载 Promethus+Grafana 监控linux、windows节点以及Tomcat项目

Promethus+Grafana 监控linux、windows节点以及Tomcat项目 文件下载地址 安装Promethus 安装Grafana 监控linux机器(node-exporter) 监控windows机器(wmi-exporter) 监控tomcat项目(j...

2019-10-20 22:56:37

阅读数 87

评论数 0

转载 Metrics介绍

Metrics可以为你的代码的运行提供无与伦比的洞察力。作为一款监控指标的度量类库,它提供了很多模块可以为第三方库或者应用提供辅助统计信息, 比如Jetty, Logback, Log4j, Apache HttpClient, Ehcache, JDBI, Jersey, 它还可以将度量数据发送...

2019-10-18 22:03:59

阅读数 14

评论数 0

原创 详解Linux中nohup和&的用法和区别

示例 : 我们用python代码loop_hello.py做示例,代码的作用是循环输出循环次数和hello world!,每次输出后sleep 1秒 示例代码如下: import time def main(): i = 0 while True: i ...

2019-10-18 15:50:33

阅读数 27

评论数 0

原创 Ubuntu环境下Docker安装

介绍在国内网络情况 Ubuntu下安装Docker的方法 . Docker CE版本安装步骤 : 1. Ubuntu 14.04 16.04 (使用apt-get进行安装) step 1: 安装必要的一些系统工具 sudo apt-get update sudo apt-get...

2019-10-18 13:34:58

阅读数 24

评论数 0

转载 Prometheus+Grafana搭建监控系统

1. prometheus安装 Prometheus 主程序,主要是负责存储、抓取、聚合、查询方面 直接官网下载:https://prometheus.io/download/ 解压执行命令:tar zxf prometheus-2.3.2.linux-amd64.tar.gz 编辑解...

2019-10-17 20:23:19

阅读数 43

评论数 0

转载 HTTPSConnectionPool(host='xxxxx', port=443): Max retries exceeded with url:xxxxxxxx (Caused by Ne...

requests.exceptions.ConnectionError:HTTPSConnectionPool(host='baike.baidu.com',port=443): Maxretriesexceededwithurl:https://baike.baidu.com...

2019-10-14 17:35:53

阅读数 94

评论数 0

原创 百度网盘下载提速小技巧

环境 : Windows 操作系统 很多人总会需要用到百度网盘 , 虽然挺好 , 但是有一个很大的缺点 , 就是如果你不开会员 , 你的下载速度就会超级慢 , 速度可以慢到几K每秒 , 几十K每秒 , 如果下载的内容不是很大还好 , 加入下载的东西有几个G , 几十个G呢 ? 那有什么提速方法呢...

2019-10-14 11:24:18

阅读数 1041

评论数 0

转载 2019年最新出搜索引擎蜘蛛网页爬虫大全

2019年最新出搜索引擎蜘蛛网页爬虫大全分享,各大seo引擎搜索的蜘蛛会一次又一次访问爬取我们站点的文章内容,也会耗费一定的站点流量; 有时候就必须屏蔽一些蜘蛛浏览我们的站点,文章尾部会讲解决方案; 掌握各大搜索引擎蜘蛛爬虫,对我们开展网站SEO优化具有挺大作用;作者搜集了各大搜索引擎的蜘蛛爬...

2019-10-13 22:04:06

阅读数 986

评论数 0

转载 前端JS、nodejs、和JS有什么区别?

前端的JS = 标准JS + webAPI webAPI参阅MDN nodejs = 标准JS + 一些系统相关的API 具体参阅node文档 下面的代码可以在浏览器或者node中执行 var a = new Date() let b = Promise.reject() 下面代码只能...

2019-10-13 14:32:11

阅读数 12

评论数 0

原创 PyCharm自动补全有缺陷 ? PyCharm不够 , aiXcoder来凑

工具准备 : PyCharm IDE aiXcoder 安装包 PyCharm 下载地址 :http://www.jetbrains.com/pycharm/download/ aiXcoder 下载地址 :https://www.aixcoder.com/#/ 我是做 Py...

2019-10-12 22:41:49

阅读数 65

评论数 0

转载 TensorFlow 如何指定CPU/GPU上运行

使用 GPUs 支持的设备 在一套标准的系统上通常有多个计算设备. TensorFlow 支持 CPU 和 GPU 这两种设备. 我们用指定字符串strings来标识这些设备. 比如: "/cpu:0": 机器中的 CPU "/gpu:0": 机器中...

2019-10-12 09:38:34

阅读数 6

评论数 0

原创 数据分析绘图工具

python 的 matplotlib 主要用来绘图 , 这里记录一下直接可以用网页绘图的网址 https://www.echartsjs.com/zh/index.html主要利用js渲染的效果比较好 在这里只需要准备好数据 , 然后选择合适的分析工具 https://www.echa...

2019-10-10 17:25:35

阅读数 13

评论数 0

原创 Matplotlib 绘制直方图 - 影视播放时间

运行环境 : python 3.6.0 用 Matplotlib 的 hist 方法绘制直方图 , 本博文为对某一影视网站 top250 影视播放时长分析 核心代码 (bar方法) : # -*- encoding: utf-8 -*- # @Version : Python 3.6...

2019-10-10 17:02:37

阅读数 24

评论数 0

原创 Matplotlib 绘制柱状图 - 电影票房

运行环境 : python 3.6.0 用 Matplotlib 的 bar 和 barh 方法绘制散点图 , 绘制票房统计 , 数据来源于http://58921.com/alltime/2019 核心代码 (bar方法) : # -*- encoding: utf-8 -*- # ...

2019-10-10 13:57:46

阅读数 111

评论数 0

原创 Matplotlib 绘制散点图 - 温度变化

运行环境 : python 3.6.0 用 Matplotlib 的 scatter 方法绘制散点图 , 绘制温度分布 , 数据来源于http://lishi.tianqi.com/beiling/index.html 核心代码 : # -*- encoding: utf-8 -*- ...

2019-10-10 12:53:19

阅读数 16

评论数 0

原创 Matplotlib 绘制折线图 - 正余弦函数图像

运行环境 : python 3.6.0 用 Matplotlib 的 scatter 方法绘制散点图 核心代码 : # -*- encoding: utf-8 -*- # @Version : Python 3.6.0 # @Function : 本代码为利用 Matplotlib ...

2019-10-10 10:46:07

阅读数 22

评论数 0

转载 常用EXE文件反编译工具

PE Explorer V1.99 R5 绿色汉化特别版_强大的可视化汉化集成工具 功能极为强大的可视化汉化集成工具,可直接浏览、修改软件资源,包括菜单、对话框、字符串表等; 另外,还具备有 W32DASM 软件的反编译能力和PEditor 软件的 PE 文件头编辑功能,可以更容易的分析源代码,...

2019-10-08 21:37:27

阅读数 63

评论数 0

提示
确定要删除当前文章?
取消 删除