- 博客(15)
- 资源 (1)
- 问答 (7)
- 收藏
- 关注
原创 ES--常用配置(settings)
一般为es服务器磁盘爆满,空间使用率超过es规定阈值时'error': { 'reason': 'blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];', 'type': 'cluster_block_exception' }df -h 查看服务器磁盘使用情况释放服务器空间,删除一些备份、日志文件释放空间后,还需修改配置PUT _settings{ "index.blocks.rea..
2020-10-16 13:25:47 2117
原创 Nginx+uwsgi+Django项目部署后,url长度限制修改
修改该项目的nginx配置文件在server中添加参数large_client_header_buffers 4 32k;client_header_buffer_size 1k;修改对应uwsgi配置文件buffer-size=32678修改完成后,重启nginx/uwsgi
2020-06-09 16:37:45 906
原创 一次成功的JS逆向--Python爬虫
仅供参考!网址:????PS: 之前遇到过关于js的反爬措施,但一看JS就头疼,所以果断选择使用第三方模块执行js代码,但这次的js看着有点简单,使本人自信心爆棚,决定加班也要搞出来!看着有点简单的网站截图:(通过年份筛选,获取指定年份的数据)F12查看网页源代码,可以知道 表格里的内容为异步传输,需要先找到异步请求的链接快速查找异步请求的链接方法:First. 清空当前的网页请求历史2. 更改日期,点搜索,触发异步请求3. 在请求栏里可以看到,触发了三个链接,通过观察,第二、三个请求貌
2020-05-20 23:05:33 1012 2
原创 MySQL常用命令 -- 笔记
# 查看MySQL数据存放位置SHOW GLOBAL VARIABLES LIKE '%DATADIR%';# 查看每个数据库的大小,以G为单位返回,此命令与数据SELECT table_schema,SUM(AVG_ROW_LENGTH*TABLE_ROWS+INDEX_LENGTH)/1024/1024/1024 AS total_mb FROM information_schema.T...
2020-03-30 11:19:29 150
原创 Linux常用命令--笔记
# 查看当前目录下文件大小,从大到小排序du -sh * | sort -nr# 压缩文件命令 -- zip, 将mysql文件夹及附属文件 压缩当前目录下的mysql_20200330.zip中zip -r mysql_20200330.zip mysql...
2020-03-30 10:59:04 108
原创 ES--配置外网访问时遇到的部分问题
本篇默认已成功安装ES,且可以服务器内部访问(127.0.0.1:端口号)修改elasticsearch-xxx/config目录下的elasticsearch.yml文件(冒号后要有空格)network.host: 0.0.0.0http.port: 9200确认防火墙已允许 9200 端口号已经开放使用xx云的服务器,可以直接在网页上修改防火墙配置elasticsearch....
2020-02-24 18:02:39 1438 2
原创 ES--常用辅助查询
操作环境:windowsES版本:6.2.2工具:postman三、辅助查询1.此节点下的 索引信息查询GET http://127.0.0.1:9200/_cat/indices?v # 可查询索引的健康值、是否开启、索引名、UUID、索引大小等信息2. 查询结果中只返回指定字段GET http://127.0.0.1:9200/result/result/_search{...
2019-12-31 17:24:04 376
原创 ES--使用Python脚本备份ES
!PS:之前嫌麻烦,我备份ES都是直接复制data文件。后来几次操作失误,恢复备份文件时,尴尬的 备份文件莫名损坏了-_-||(好像是日志什么问题),今天决定还是按照官方推荐的方法来备份ES。操作环境:*windows*,*ES-6.2.2*, *Postman*First --> 修改配置文件:config文件里的elasticsearch.yml 添加:path.repo: ...
2019-10-15 19:47:07 557
原创 ES--nested嵌套结构数据查询
ES结构"author_o": { "type": "text" },"author_test": { "type": "nested", "properties": { "irAuthorType": { "type": "shor...
2019-07-31 15:14:23 13498
原创 Python使用xlrd读取xls/xlsx文件
本文参考地址表数据参照:使用xlrd简单操作xls文件:import xlrd# 加载xls文件xls_table = xlrd.open_workbook('FILE_PAHT+FILE_NAME')# 以列表形式返回xls文件的所有表名table_names = xls_table.sheet_names()print(table_names)>>>...
2019-05-21 20:18:22 12710 3
原创 Pyhton中的sys.argv用法
sys.argv:可从外部接收多个参数,为此模块内部使用此文件名称:timer_table_back.pyimport sysdef test(a_list): a = len(a_list) for i in range(a): print(a_list[i])if __name__ == '__main__': argv_list = sys.argv if len(...
2019-05-08 18:17:25 361
原创 pip 生成requirement配置文件,快速安装配置环境
生成requirements.txt文件>>> pip freeze > ./requirements.txt 安装环境>>> pip install -r 文件路径PS: 爬虫环境:asn1crypto==0.24.0attrs==18.2.0Automat==0.7.0beautifulsoup4==4.7.1bs4==0.0.1...
2019-04-14 21:40:43 17858
原创 cherrytree安装出现see the logfile for detaile错误的处理
在下因为在自定义安装时,**安装路径出现了中文**,把中文改成英文就好了...实测有效!!
2018-12-29 15:11:51 2347
elasticsearch中使用script修改接口数据时,有split方法吗
2020-11-13
es有办法仅返回_source里的内容吗?去掉_index、_type等外围字段!
2020-04-26
使用pymsyql模块执行SQL,commit后,仍执行无效!!
2020-04-13
ES 是否可以修改字段类型或者删除字段???
2019-12-26
如何使用python的docx模块,获取指定段落后的表格
2019-08-06
ES 7.1注册window服务时失败,在线等大神求解
2019-06-20
python--爬虫 requests库如何进行网页等待?
2019-03-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人