es搭建过程会存在的问题 针对6.x 常见的四个基本错误错误1can not run elasticsearch as root解决方案:因为安全问题elasticsearch 不让用root用户直接运行,所以要创建新用户第一步:liunx创建新用户 adduser XXX 然后给创建的用户加密码 passwd XXX 输入两次密码。第二步:切换刚才创建的用户 su XX...
elasticsearch-6.4.3 集群搭建 1、准备三台服务器,已安装好es。2、修改服务集群配置如下使用命令:vi elasticsearch.yml如下:cluster.name: myes ###保证三台服务器节点集群名称相同node.name: node-1 #### 每个节点名称不一样 其他两台为node-1 ,node-2network.host: 192.168.188.13...
搭建巡风扫描器 环境安装一:git cloneclone下项目,然后使用pycharm打开这个项目。二:利用anaconda创建python2.7虚拟环境巡风使用的python版本是2.7,创建一个虚拟环境,pycharm打开项目后,选择这个虚拟环境,然后安装requirements.txt里面的库,也可以使用pip一键安装,不过那样需要把requirements.txt放在虚拟环境中的...
mongodb的数据库,集合,数据可介绍。 我们知道,在关系型数据库里面有数据库、数据表、表里面是一行一行的数据。而mongodb是非关系型数据库,它有的是数据库、集合、文档,分别对应关系型里面的数据库、数据表、和表里面一行一行的数据。在mongodb里,文档构成集合,集合构成数据库关系组成:1.文档这个文档,可不是平常说的word文档,在mongodb里面,文档指的是集合里面的一行数据。来看一下它的样子。...
win10安装配置mongodb 1. 下载MongoDB并安装官网下载地址:https://blog.csdn.net/qq_41127332/article/details/80755595 ,选择合适的版本进行下载。我选择是3.6.11点击下载好的安装包mongodb-win32-x86_64-2008plus-ssl-3.6.11-signed.msi,除了中途需要选择Custom自定义安装路径以...
conda基础命令 1、首先在所在系统中安装Anaconda。可以打开命令行输入conda -V检验是否安装以及当前conda的版本。2、conda常用的命令。 1)conda list 查看安装了哪些包。 2)conda env list 或 conda info -e 查看当前存在哪些虚拟环境 3)conda update conda 检查更新当前conda3、创建...
numpy库使用总结 numpy study0x01:n维数组对象ndaarray存放同类型元素的多维数组0x02:numpy数据类型numpy 的数值类型实际上是 dtype 对象的实例,并对应唯一的字符,包括 np.bool_,np.int32,np.float32,等等。字定义结构化数据类型:import numpy as npstudent = np.dtype([('name','S2...
selenium五十行代码自动化爬取淘宝 先看一下代码,真的只是五十行: 1 # coding=gbk 2 3 from selenium import webdriver 4 import time 5 6 options = webdriver.ChromeOptions() 7 options.add_argument(r'--user-data-dir=C:\Users\lwy\App...
python多版本共存pip指向问题 这两天一致被一个问题困扰,电脑里装了anaconda和python3.7,在命令行里输入python,想要python3.7,出现的确实python3.6,或使用pip安装包时,不知道是装在里python3.7里面还是anaconda里面。原因是python3.7和anaconda的可执行文件都是python.exe,这样在配置环境变量之后,如果在命令行里输入python,显示出的pyt...
requests的请求机制 库结构:工作机制:api.pyget、post、put、delete等请求方式都在api文件中,另外,api文件中还有个request方法,使用任何一种请求方式都是调用request方法,只是传入的参数不同,比如下面的get方式请求def get(url, params=None, kwargs):kwargs.setdefault('allow_redirects', T...
python字符串编码转换 假设读者已经了解了什么叫字符集,什么叫编码,什么叫解码。首先要明确,虽然有三种前缀(无前缀,前缀u,前缀b),但是字符串的类型只有两种(str,bytes),实验如下: 根据程序以及以上运行结果,发现无前缀,和前缀u,构造出来的字符串常量,是一样的。类型一样是str,长度一样是3,==判断也是返回true。is判断也是返回...
python的http包 http包简介http包提供了 HTTP协议的一些功能,主要模块有:http.client --- 底层的 HTTP 协议的一些功能,可以为 urllib.request 模块所用http.server --- 提供了基于 socketserver模块的基本 HTTP服务器类http.cookies --- cookies 的管理工具http.client...
pyplot中的一些函数 from matplotlib import pyplot as pltplt.ylabel(‘Grade’) : y轴的名称plt.xlabel(‘Grade’) : x轴的名称plt.title(‘Grade’) : 图形的标题plt.axis([-1, 10, 0, 6]) : 设置坐标抽,x轴起始于-1,终止于10 ,y轴起始于0,终止于6。plt.ax...
selenium的使用 0x01:selenium的应用场景有时候我们在网页的源代码里面不能找到在页面中展示的内容,比如这和新闻页面,https://www.toutiao.com/a6729041718571696653/,并不能再源代码里面找到前端展示出来的图片信息,但是右键检查元素却可以定位到元素的位置。这是因为页面展示的数据并不在源代码中,而是经过js加载的,所以并不能直接从源代码中提取出我们需要的...
python使用open的OSError: [Errno 22] Invalid argument错误 这两天在写一个新闻类的spider时,遇到了OSError: [Errno 22] Invalid argument这个错误,苦恼的两天,无果。后来通过请教学长,发现原来是打开的文件名中含有一些系统的敏感字符,结果就报错了。看一段简单的代码: 1 title = '把我看成新闻的*标题吧。' 2 contetn = '就把我看成是新闻的内容吧!!!' 3 with ope...
win10下配置chromedrive。 0x01:查看自己chrome的版本号点击chrome右上角菜单栏,帮助,关于Google chrome,在这里,你可以看到自己chrome的版本号。0x02:下载对应的chrome drive知道自己chrome的版本号之后,就需要到与自己chrome版本号对应的chrome drive,下载地址:http://npm.taobao.org/mirrors/chr...
清空txt文件 如果想在每次写入前清空txt文件里面的内容,不必删掉文件,只需要使用truncate方法就行了,代码0x01:以读/写的方式打开文件:f = open("read_test.txt", "a+", encoding="utf-8")f.write("132456789")f.truncate()f.close()这样第二行写入的内容就会被清空0x02...
深入理解vmware虚拟网络 0x01:vmware workstationVMware Workstation是一款非常不错的虚拟机软件,许多爱好者用VMware,Workstation设计多种实现环境做测试。VMware Workstation的虚拟网络部分,功能非常的强大,但对于初学者来说,稍显复杂。0x02:vmware虚拟网络概述在主机上安装VMware Workstation或VMware Serv...
java基础 0x01:常用数据类型JAVA中有八种基本类型对于整数有4种类型:byte, short, int, long浮点数类型类型:float, double字符类型:char布尔:返回 true 或 false 值 (true 或 false)0x02:变量标识符:标识符可以简单的理解为一个名字,用来标识类名,变量名,方法名,数组名,文件名的有效字符序列。java语...
请求头字段 method:请求方法,get或postscheme:协议类型,http或httpscookie:保存cookies值User-Agent:浏览器类型Host:初始URL中的主机和端口。Referer:包含一个URL,用户从该URL代表的页面出发访问当前请求的页面。就是说告诉你当前请求的url你是从哪里来的,比如你再百度里面点了一个广告的链接,那么这个广告就是你当前请...