總侑刁民想害朕-CSDN博客

原创 ES--常用配置(settings)

一般为es服务器磁盘爆满，空间使用率超过es规定阈值时'error': { 'reason': 'blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];', 'type': 'cluster_block_exception' }df -h 查看服务器磁盘使用情况释放服务器空间，删除一些备份、日志文件释放空间后，还需修改配置PUT _settings{ "index.blocks.rea..

2020-10-16 13:25:47 2087

原创 Python 一些实用、快捷的小方法

【代码】Python 一些实用、快捷的小方法。

2020-10-12 10:38:50 177

原创 Nginx+uwsgi+Django项目部署后，url长度限制修改

修改该项目的nginx配置文件在server中添加参数large_client_header_buffers 4 32k;client_header_buffer_size 1k;修改对应uwsgi配置文件buffer-size=32678修改完成后，重启nginx/uwsgi

2020-06-09 16:37:45 884

原创一次成功的JS逆向--Python爬虫

仅供参考！网址：????PS: 之前遇到过关于js的反爬措施，但一看JS就头疼，所以果断选择使用第三方模块执行js代码，但这次的js看着有点简单，使本人自信心爆棚，决定加班也要搞出来！看着有点简单的网站截图：（通过年份筛选，获取指定年份的数据）F12查看网页源代码，可以知道表格里的内容为异步传输，需要先找到异步请求的链接快速查找异步请求的链接方法：First. 清空当前的网页请求历史2. 更改日期，点搜索，触发异步请求3. 在请求栏里可以看到，触发了三个链接，通过观察，第二、三个请求貌

2020-05-20 23:05:33 986 2

原创 MySQL常用命令 -- 笔记

# 查看MySQL数据存放位置SHOW GLOBAL VARIABLES LIKE '%DATADIR%';# 查看每个数据库的大小，以G为单位返回，此命令与数据SELECT table_schema,SUM(AVG_ROW_LENGTH*TABLE_ROWS+INDEX_LENGTH)/1024/1024/1024 AS total_mb FROM information_schema.T...

2020-03-30 11:19:29 138

原创 Linux常用命令--笔记

# 查看当前目录下文件大小，从大到小排序du -sh * | sort -nr# 压缩文件命令 -- zip, 将mysql文件夹及附属文件压缩当前目录下的mysql_20200330.zip中zip -r mysql_20200330.zip mysql...

2020-03-30 10:59:04 99

原创 ES--配置外网访问时遇到的部分问题

本篇默认已成功安装ES，且可以服务器内部访问（127.0.0.1:端口号）修改elasticsearch-xxx/config目录下的elasticsearch.yml文件(冒号后要有空格)network.host: 0.0.0.0http.port: 9200确认防火墙已允许 9200 端口号已经开放使用xx云的服务器，可以直接在网页上修改防火墙配置elasticsearch....

2020-02-24 18:02:39 1407 2

原创 ES--常用辅助查询

操作环境：windowsES版本：6.2.2工具：postman三、辅助查询1.此节点下的索引信息查询GET http://127.0.0.1:9200/_cat/indices?v # 可查询索引的健康值、是否开启、索引名、UUID、索引大小等信息2. 查询结果中只返回指定字段GET http://127.0.0.1:9200/result/result/_search{...

2019-12-31 17:24:04 350

原创 ES--使用Python脚本备份ES

！PS：之前嫌麻烦，我备份ES都是直接复制data文件。后来几次操作失误，恢复备份文件时，尴尬的备份文件莫名损坏了-_-||(好像是日志什么问题)，今天决定还是按照官方推荐的方法来备份ES。操作环境：*windows*，*ES-6.2.2*， *Postman*First --> 修改配置文件：config文件里的elasticsearch.yml 添加：path.repo: ...

2019-10-15 19:47:07 537

原创 ES--nested嵌套结构数据查询

ES结构"author_o": { "type": "text" },"author_test": { "type": "nested", "properties": { "irAuthorType": { "type": "shor...

2019-07-31 15:14:23 13443

原创 Python使用xlrd读取xls/xlsx文件

本文参考地址表数据参照:使用xlrd简单操作xls文件：import xlrd# 加载xls文件xls_table = xlrd.open_workbook('FILE_PAHT+FILE_NAME')# 以列表形式返回xls文件的所有表名table_names = xls_table.sheet_names()print(table_names)>>&gt...

2019-05-21 20:18:22 12259 3

原创 Pyhton中的sys.argv用法

sys.argv：可从外部接收多个参数，为此模块内部使用此文件名称：timer_table_back.pyimport sysdef test(a_list): a = len(a_list) for i in range(a): print(a_list[i])if __name__ == '__main__': argv_list = sys.argv if len(...

2019-05-08 18:17:25 347

原创 pip 生成requirement配置文件，快速安装配置环境

生成requirements.txt文件>>> pip freeze > ./requirements.txt 安装环境>>> pip install -r 文件路径PS: 爬虫环境：asn1crypto==0.24.0attrs==18.2.0Automat==0.7.0beautifulsoup4==4.7.1bs4==0.0.1...

2019-04-14 21:40:43 17775