自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Chenftli的博客

坚持记录,不断更新,让技术落地产生价值

原创 boto3连接aws的s3及注意事项

boto3文档:https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/index.html

2020-03-26 13:38:56 429 2

原创 python中实现单例模式以及网上的一些错误

单例模式 简介: 单例模式(Singleton Pattern)是一种常用的软件设计模式,该模式的主要目的是确保某一个类只有一个实例存在。 例如:服务器程序的配置信息存放在一个文件中,客户端通过一个 Config 的类来读取配置文件的信息。当有很多地方都需要使用配置文件的内容时就需要创建 创建多个...

2019-09-25 17:13:02 115 1

原创 docker基础三:一文学会DockerFile介绍、编写dockerfile、构建(build)、运行(run)、实例

一、简介 DockerFile是用来构建Docker镜像的构建文件,是由一系列命令参数构成的脚本。 二、DockerFile的一些规则 每条保留字指令都必须为大写字母且后面要跟随至少一个参数 指令顺序执行,遵循从上到下原则 #表示注释 每条指令都会创建一个新的镜像层,并对镜像进行提交 三、...

2019-06-12 17:48:33 4154 0

原创 DeprecationWarning: count is deprecated. Use Collection.count_documents instead.【对比全面详细】

环境 python 3.7 mongodb v4.2.1 pymongo 3.9.0 问题 DeprecationWarning: count is deprecated. Use Collection.count_documents instead. print(cursor.count()...

2020-04-09 11:12:33 184 1

原创 使用mongodump和mongostore对mongodb数据库迁移实践总结

环境 windows server2012 mongodb:version v4.2.1 如图为原mogodb数据库data存储数据的大小,约为:46.9GB 如果迁移整个数据库的数据推荐使用mongodump和mongostore,这是mongdb官方文档中关于它们的迁移说明:https:...

2020-04-03 13:59:05 101 0

原创 windows\windows Server 安装mongodb以及一些生产环境下连接的权限设置(清楚、详细)
原力计划

前提: mongdb下载地址:ww.mongodb.com/download-center/community 选择windows版本下载exe 安装: 1、点击进行安装, 选择custom(自定义)进行安装 2、这里我选择location(安装位置)为:D:\Program File\Mong...

2020-04-02 16:00:01 79 0

原创 python 使用ftplib连接ftp服务器获取目录、文件及它们的修改时间

需求:我要做的一个需求是根据目录、文件的修改时间来判断是否下载ftp的文件。 由于ftplib中的FTP无法满足我这一需求,所以只能重写一个MyFTP类继承FTP,写一个方法来实现,除了这个还实现了一个获取当前目录下的所有目录及文件。 from ftplib import FTP import o...

2020-03-27 13:45:32 257 0

原创 hadoop基础三:YARN简介、组件

YARN定位 云计算三层服务: IaaS、PaaS、SaaS YARN属于PaaS层。 YARN设计目标 通用的统一资源管理系统 同时运行长应用程序和短应用程序 长应用程序 通常情况下,永不停止运行 Service(hadoop、Spark、Storm)、HTTP Server等 短...

2020-02-25 12:00:09 48 0

原创 hadoop基础二:HDFS的特点、三个服务、架构

优点: 一、高可靠性:hadoop一般都在成千的计算机集群之上,且可以搭建hadoop的高可靠集群,及内部容错功能优秀。 二、高扩展性:hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。 三、高效性:hadoop能够在节点之间动态地移动数据,并保...

2020-02-21 19:01:03 85 0

原创 hadoop基础一:Hadoop简介、安装

hadoop简介: hadoop平台是一个可靠的、可扩展的、可分布式计算的开源软件。 Apache Hadoop平台是一个框架,允许使用简单的编程模型。该平台被设计成可以从单个服务器扩展到数千台服务器,每台服务器都提供本地计算和存储。该平台也被设计成可检测和处理应用层的故障(即高可用、高容错),高...

2020-02-21 14:35:59 58 0

原创 centos7安装配置python3.7.3以及对pip3建立软连接管理依赖

步骤 如果是在虚拟机安装的centos7,则需要先配置网络链接:参考: https://blog.csdn.net/Chenftli/article/details/103258508 如没有wegt下载工具,使用以下命令安装: yum -y install wget 1.下载python3....

2019-11-26 17:21:43 482 0

转载 windows中vmware安装centos7并配置网络

做个记录,查看下面 https://www.cnblogs.com/zhaopeng888/p/9407538.html

2019-11-26 16:20:24 51 0

原创 scrapy获取当前请求网页时的cookie

1、请求Cookie Cookie = response.request.headers.getlist('Cookie') print(Cookie) 2、响应Set-Cookie Cookie2 = response.headers.getlist('Set-C...

2019-09-26 16:35:28 573 0

原创 安装包时报错:centos7 cannot find a valid baseurl for repo

原因: centos7域名解析DNS有问题 解决: 重新配置DNS 方法一: vi /etc/sysconfig/network-scripts/ifcfg-eth0 在文末添加下面,D DNS1=218.85.157.99 DNS2=114.114.114.114 然后重启网络: ifup 网...

2019-09-26 16:26:39 43 0

原创 pyppeteer部署在centos7上出现的问题

1.error while loading shared libraries: libXss.so.1: cannot open shared object file: No such file or directory 解决:安装libXScrnSaver yum install libXS...

2019-09-26 16:07:11 385 0

原创 python题目:判断数据是否是回文

简介: 回文通俗点就是顺着读和倒着读数字的顺序都一样。 思考: 可以首先想到的方法就是逐一比较,再仔细发现只需要比较一半就好像可以了。下面是两种方法,一种是逐一比较,一种是比较一半(如果数据个数是单数则比到[n/2],偶数是n/2)。 方法一: # O(n),不稳定(有最坏情况与最好情况) @co...

2019-09-26 13:07:57 665 0

原创 python中的map()函数

环境: python3.7.3 简介: map()是python中的内置函数,可以直接使用 功能: 将一个可迭代对象,通过一个函数生成另一个迭代器(但只能迭代一次) 用法: map(函数, 可迭代对象) 示例: def map_fun(x): return x ** 2 # ...

2019-09-20 17:32:29 133 0

原创 将mysql数据表数据从一台服务器迁移到另一台服务器

前提 我本次躺的坑是基于下面的环境的,并且是数据量比较小。如果非一样的条件请自行参考,当然可以参考一下我的思想。 环境 两台都是linux服务器,操作系统是centos 两台服务器中mysql数据库所操作的表结构相同 思想 首先我想用mysql中的outfile将表中的数据导出为txt格式的...

2019-07-13 14:01:59 1510 0

原创 python爬虫实例二:地图上的火锅美味

这次分享爬虫的一个小案例,本来还有数据分析的部分,但休息两天实在写不完代码,加上还要编辑图文。所以我打算分开写,有空就迭代迭代。。。 先看下代码目录结构(目前还不会编辑好看的图文,谅解慢慢增强): 有三个.py文件,map_craw.py、stat.py、store.py分别的功能是爬取数据、数...

2019-07-12 14:25:13 363 0

原创 ubuntu下adb工具的安装以及usb接口权限问题error: insufficient permissions for device: user in plugdev group

简述: adb(Android Debug Bridge安卓调试桥接器),是Android sdk(安卓开发工具包)里的一个工具,使用该工具可以用CLI直接操作管理真机andriod设备或android模拟器。 安装: 直接使用apt命令安装android-tools-adb即可 sudo...

2019-06-16 18:34:08 843 0

原创 mysql中count()的用法

概念: count()是MySQL中用来统计表中记录的一个函数,返回条件的行数 用法: count(*) 返回表中的记录数(包括所有列),相当于统计表的行数(不会忽略列值为NULL的记录) count(1) 忽略所有列,1表示一个固定值,也可以用count(2)、count(3)...

2019-06-16 17:31:06 5388 0

原创 centos中依赖于gcc编译安装时常常出现的错误

1.make: *** No targets specified and no makefile found. Stop. 2.-bash: make: command not found的解决办法 yum -y install gcc automake autoconf libtool mak...

2019-06-16 16:50:34 453 0

原创 docker基础二:docker容器数据卷介绍、使用、数据容器卷volumes-from的使用

一、简介 docker容器数据卷是将docker中的container中产生的数据持久化到宿主机文件中。 二、直接命令添加(使用-v命令添加) 1.不带权限的命令(宿主机运行新建并启动容器), docker run -it -v /宿主机目录绝对路径:/容器内目录 镜像名 绑定后容器和宿主...

2019-06-12 10:53:47 825 0

原创 docker基础一:docker常用命令

docker常用命令 一、帮助命令 1.查看版本:docker version 2.查看docker信息: docker info 3.查看docker命令帮助:docker --help 二、操作镜像命令 1.列出本地主机上的镜像:docker images [OPTIONS] * OPT...

2019-06-11 14:59:03 340 0

原创 flask框架写的个人blog,supervisor+nginx+gunicorn部署躺过的坑总结一:部署问题及一些命令

【部署时走过的路】 1、linux用户、用户组相关的命令。 将创建的虚拟环境的所有者改为当前用户: sudo chown -R your_username:your_username path/to/virtuaelenv/ 对linux用户、用户组不熟悉的同学。尽量使用root账户,避免好...

2019-05-27 14:42:21 179 0

原创 alembic.util.exc.CommandError: Can't locate revision identified by 'd5ef4da461a1'

错误描述:   在flask项目中使用Flask-Migrate初始化sqlite数据库操作时,出错: alembic.util.exc.CommandError: Can’t locate revision identified by ‘d5ef4da461a1’ 点题:   原因已经在mi...

2019-05-22 18:34:05 503 0

原创 configure: error: no acceptable C compiler found in $PATH

平台:   Centos中源码安装python3.6 报错: checking build system type... x86_64-pc-linux-gnu checking host system type... x86_64-pc-linux-gnu checking for python...

2019-05-20 15:20:29 331 2

原创 报错: Traceback: class TypeError: d format: a number is required,not str

报错案例: 在使用scrapy框架时,数据插入数据库时出错 Traceback: %d format: a number is >required,not str 解决: 开始以为插入sql的问题,但是却不是。百思不得其解,最后终于看settings时,看到数据库的配置...

2019-05-17 18:19:40 448 0

原创 python的.py文件 首行 #!/usr/local/bin/python解释

一、引导   通常安装python(以unix为例),会将python的执行文件安装在/usr/local/bin 子目录下,库文件安装在/usr/local/lib/python2.x或3.x 子目录下。当运行python的.py文件时需要给其指定python的可执行文件。 二、解释   pyt...

2019-05-17 09:37:46 1339 0

原创 错误:requests.exceptions.SSLError: None: Max retries exceeded with url:

报错 requests.exceptions.SSLError: None: Max retries >exceeded with url 解决 安装更新的pyopenssl pip install -U pyopenssl

2019-05-14 17:57:58 587 0

原创 python一些常用功能的github仓库

  最近整理了一点工作上python常用到的一些功能模块. 包括:时间处理、模块处理对象等。如果有需要可以到github上下载。 地址:https://github.com/Chenhonli/python-frequently-feature 教程:https://github.com/Che...

2019-05-13 09:33:03 353 0

原创 python虚拟环境(venv、virtualenv)及虚拟环境管理工具(virtualenvwrapper)

一、简介:   python标准库在3.6以前,使用pyvenv来提供虚拟环境。而在3.6之后弃用,使用venv提供虚拟环境。除此之外virtualenv是另一个提供虚拟环境的库,virtualenvwrapper是一个虚拟环境的管理工具,它可以使得管理virtualenv、venv创建的虚拟环境...

2019-05-06 15:42:23 1296 0

原创 selenium、python自动化测试时如何将页面蒙版或提示去掉

问题:   python使用selenium做自动化测试时如何将页面蒙版或提示去掉. 如图: 点题:   这些页面蒙版会不会在页面展示,其实是由一个判断条件作用的。而这个条件通常会放在localStorage(局部存储器)中,我们可以通过js来操纵localStorage。下面顺便列出一下loc...

2019-05-05 18:41:52 628 0

原创 python基础七:装饰器property用法及使用它重构代码时的应用实例

一、装饰器   我们知道装饰器可以将所需要的函数作为对象返回给需要用此函数处理的对象。而property装饰器则是将一个函数或者方法成为一个属性以供使用。@property这种语法糖形式简化了装饰器的使用。 二、引导   在面向对象类型的语言中访问修改类中的属性时通常会自己写set或者get函数,...

2019-05-02 18:52:37 82 0

原创 python 数据结构基础一:线性表单链表的实现

单链表的实现一、前提二、总体工作三、实现1.定义链表结点类2.测试结点类对象的使用3.上面测试原理图(根据赋值原理)4.定义单链表对象类(包含一个异常类)5.测试单链表对象类 一、前提 需要理解类、实例、赋值原理等概念 二、总体工作 先定义一个链表结点类(LNode),用于生成链表结点。然后定义一...

2019-03-25 15:50:50 204 0

原创 python将json格式的字串或字典在控制台上优美的结构化输出(爬虫时查看接口reponse返回的json数据时用到)

python将json格式的字串或字典在控制台上优美的结构化输出一、实例:1.字典2.字串 如果是字符串可以先用loads将字串转化成一个json对象,然后用dumps结构化后输出到控制台上。 一、实例: 1.字典 import json st2 = {"data":{&quo...

2019-03-23 08:50:26 572 0

原创 报错:Provisioning profile "iOS Team Provisioning Profile: doesn't match the entitlements file's

问题:Provisioning profile "iOS Team Provisioning Profile: com.jiejing.WebDriverAgentRunner" doesn't match the entitlements file's v...

2019-03-16 17:04:28 2977 0

原创 报错:go build command-line-arguments: build output "hello_world" already exists and is a directory

运行 go build时的小坑: 错误:go build command-line-arguments: build output "hello_world" already exists and is a directory 原因:源文件hello_world.go的文件...

2019-03-15 18:20:40 3258 0

原创 go 语言介绍及各环境(linux,mac)下的搭建及go常用包获取方式

一、介绍 go的来由:C/C++ 的发展速度无法跟上计算机发展的脚步,十多年来也没有出现一门与时代相符的主流系统编程语言,因此人们需要一门新的系统编程语言来弥补这个空缺。在 Go 语言出现之前,开发者们总是面临非常艰难的抉择,究竟是使用执行速度快但是编译速度并不理想的语言(如:C++),还是使用...

2019-03-15 14:42:03 250 0

原创 python正则表达式大全(常用数字、字符、常用的需求包括手机号、邮箱、电话号码、身份证号等)

一、正则表达式基础字符代表的意思 \w 匹配所有的字母 \W 匹配所有非字母 \d 匹配所有的数字 \D 匹配所有非数字 \s 空格 \S 匹配所有非空格 . 任意除换行符(\n) \. 表示点符号,斜杠是转义字符 常见的表达式: * 匹配0个或者多个 + 匹配1个或者多个 $ ...

2019-03-13 15:55:20 1866 0

提示
确定要删除当前文章?
取消 删除