- 博客(33)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 如何快速通过Certified Kubernetes Application Developer (CKAD)认证
考试环境准备一个干净的桌子，除了电脑啥也不能有，包括矿泉水都不行，只拿能透明玻璃杯喝水全程必须对着摄像头，起身或者动一下都会收到提示，（其实也挺烦的，尤其在你专心想问题时候）网络要好，我是用的公司网络。要关掉除Chrome以外的所有程序，任务栏里面pin的程序也都unpin一下，我正在做题时候，提示我开了其他程序，其实只是任务栏pin的。考试时间120分钟，19个题，时间非常紧张，不会的不要停留太久，参考题目的weight决定停多久，尽快直接去做后面的题，先把会做的都完成，再回到不会的攻克。只能
2021-08-27 21:00:47
1377
原创 Logstash实时同步MySQL数据到ElasticSearch的经验总结
这里写自定义目录标题Logstash同步MySQL数据到ElasticSearch的经验总结新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入Logstash同步MySQL数据到ElasticSearch的经验总结你好！
2021-07-03 23:47:47
1846
原创 ElasticSearch获取Index的document数量
ElasticSearch可以通过/_cat/indices来查看Index的状态GET _cat/indices/your_index_name*?vhealth status index uuid pri rep docs.count docs.deleted store.size pri.store.sizegreen open your-index-name-20210630_041604 tnc
2021-07-01 10:59:01
2073
原创 Logstash导入csv文件到ElasticSearch
需求计划写一系列ElasticSearch如何快速搭建小型搜索系统的文章，需要一些实际数据来展示ElasticSearch的搜索原理，选择使用kaggle公开数据集Movies Dataset，由于是用来展示ElasticSearch的搜索原理，只保留id,name两列，使用Logstash将数据导入ElasticSearch。Logstash原理Logstash是一个开源的数据收集引擎，是ELK技术栈中的L。可以完成数据的ETL，方便的将数据导入ElasticSearch等。Logstash数据处
2021-06-24 14:24:16
908
原创 ElasticSearch如何新添加一列并将已有列内容填入
ElasticSearch不支持更改已有Field的数据类型以及Analyzer，项目中如果需要额外的检索需求，当前mapping中的analyzer不能满足时，可以通过新增加一个filed并定义额外的Analyzer来实现。项目中name列最开始的定义如下，采用标准analyzer提供基础的查询功能，子field中定义了keyword用来排序 "name": { "type": "text", "analyzer": "standard", "fields": {
2021-06-21 21:28:07
931
2
原创 MySQL日常使用总结
MySQL日常使用过程中经历过的坑，持续更新MySQL 5.6 版本不支持View中存在SubqueryError Code: 1349. View’s SELECT contains a subquery in the FROM clauseview外层尽量不要再使用where条件view外面再加where条件是需要先等view内检索条件执行完毕创建temp table之后再对table过滤，所以where条件中即使有Index也不起作用。多用explain extended去分析执行逻辑。My
2021-06-04 16:35:46
144
原创 Python多进程 struct.error: ‘i‘ format
当对多个文件进行同样的预处理时，为了加快处理速度会使用Python多进程。每个进程返回数据给父进程，做最后的合并处理。问题描述与分析代码在处理大文件时候会抛出如下错误，但当处理的文件较小时候，一切正常。concurrent.futures.process._RemoteTraceback:"""Traceback (most recent call last): File "/home/dxi/software/python3.7.9/lib/python3.7/concurrent/futu
2020-09-22 17:40:56
3274
原创 文本文件在MongoDB中的存储大小
前言项目中使用MongoDB存储文本数据，通过pymongo连接DB提供python查询接口。原始文件每天增长，项目需要评估MongoDB服务器使用什么规格的硬盘，那么当文本文件存入MongoDB后，相比原始文件，MongoDB磁盘占用多少，压缩率如何，怎么可以优化磁盘占用空间。本文尝试解答这些问题。测试步骤测试文件：csv文件，13,515,366行，22列文件大小: 4.6G（csv文件使用mongodb是因为不同的csv文件中列是不同的）测试方法：测试三种情况下，MongoDB中col
2020-09-21 18:43:29
2290
原创 Linux开机自动mount windows cifs共享
本文介绍如何Linux如何开机自动mount Windows cifs共享，可以在server重启时候自动mount数据，不影响应用程序的数据访问linux安装cifs驱动sudo apt-get install cifs-utils创建credentials文件保存用户密码。dxi@mylinux:~$ cat .smbcredentialsusername=dxipassword=mypassword将文件改为 600权限.在 /etc/fstab 中增加cifs mountdxi@
2020-05-28 15:48:32
1717
原创 AWS助理架构师认证备考之路
考试介绍及报名AWS官方推出的云计算架构师能力认证，分为助理级和专业级，本攻略针对助理级架构师认证AWS Soluctions Architect - Associate (SAA-C01)。通过AWS认证中心网站预约考试即可，基本随约随考，可以选择离自己近的考点，深圳南山区在赋安科技大厦，会安排在一个小会议室里，里面有几个小隔间，电脑考试，自动出成绩。考试的详细介绍网上资料较多，本文重点分享...
2019-12-10 17:05:40
1423
原创 pg_dump版本不符导致PostgreSQL不能备份
项目使用AWS Aurora Postgresql数据，自动备份任务突然报错了，收到邮件查看错误信息，是由于Postgresql升级了，但备份机器上的pg_dump没有升级，导致版本不一致，备份出错。错误信息：21:59:35 pg_dump: server version: 9.6.12; pg_dump version: 9.5.1921:59:35 pg_dump: aborting ...
2019-11-18 14:36:30
7775
原创 Python去除文本中非utf8字符
在处理文档相关项目中，经常会碰到utf8的非法字符，例如用户上传一个文件，系统根据用户文件产生相应结果返回。如果用户文件（utf编码的csv文件）中有utf8的非法字符，需要程序能自动去掉这些字符，因为这些字符也是无意义的。错误信息：处理方法：...
2019-09-04 17:01:49
7130
2
原创 docker不能运行任何containers
ERROR: for es-master Cannot start service es-master: OCI runtime create failed: container_linux.go:348: starting container process caused "process_linux.go:297: copying bootstrap data to pipe caused \"write init-p: broken pipe\"": unknown
2019-05-16 19:39:55
4336
原创 Tableau 使用技巧总结
dashboard的大小可以使用一个范围值，range(),这样可以更好适应不同屏幕尺寸。布局layout使用blank可以更方便。设置主内容固定宽带，blank自动调整宽度。Venv图当两边数据差别较大时，需要手动调整布局，而且不美观。可以使用一个新变量来调整圆圈大小，实际数字用Label显示。字体必须在计算机中安装才能使用，所以尽量使用比较大众的字体如Arial...
2019-04-24 15:52:38
2072
原创 优化Docker Image案例
docker history可以查看每一个步的大小一行命令一个layer经常变化的尽量放最后COPY 源代码尽量放在最后
2019-04-12 20:16:32
646
原创 Python多重继承
多重继承可以允许继承多个父类，实现多个父类的功能，具体可以参考这里那么若当多个父类有相同的方法时，调用这个方法会如何。答：会调用继承第一个类中的方法。这是按照Python方法解决顺序执行，参考如下代码。class A: def say_hello(self): print("Hi from A")class B: def say_hello(self):...
2019-04-12 18:44:24
247
原创 Docker应用数据存储方法及使用场景
容器技术已经广泛应用在接口开发等各个方面，那么容器中产生的应用数据如用户上传的文件，系统日志等，应该如何做好持久化存储，以便共享及后续数据分析。本文会解答这个问题。
2019-03-23 22:14:41
659
原创 Elasticsearch ReadTimeoutError Read timed out
success, errors = bulk(self.es, self.set_data()) File "/home/dxi/PycharmProjects/OEMDB/venv/lib/python3.5/site-packages/elasticsearch/helpers/__init__.py", line 257, in bulk for ok, item in ...
2019-03-12 17:28:25
5301
原创 容器与虚拟机的区别（译）
容器和虚拟机都能很好地利用计算机软硬件资源，当然容器技术是新兴的，并且在各种数据中心变得非常流行。如果你正在寻找如何在云上运行服务的方案，那么需要了解这些虚拟化技术，它们之间有何异同，最合适的使用场景，这里是我们的快速入门。
2019-02-14 18:12:30
9939
原创 Linux挂载的nfs文件在重启后消失
Ubuntu 挂载NFS目录，用来读取服务器资源sudo mount -o ro -t nfs 192.168.*.20:/vault2/datasets /mnt/data/datasets/但当系统重启时候，挂载会消失。如果需要永久挂载，可以添加如下内容到 /etc/fstab 文件中# device mountpo...
2019-01-29 14:38:34
7186
1
原创 Supervisor应用配置实例
Supervisor是一个进程管理系统，允许用户在Unix-like操作系统上监视与管理一系列进程。管理的进程被当做supervisor的子进程，supervisor可以准确知道进程的状态，当进程中断时可以自动重启。当需要管理一个用户或一个项目的进程时，supervisor是一个很好的工具。
2019-01-25 17:25:43
642
原创 怎样让IE浏览器显示application/json数据而不是下载
在开发API接口时候，当API返回的header中Content-Type: application/json时候，IE默认会保存JSON数据，而不是像Chrome，Firefox中正常显示JSON数据。微软IE社区解释这个正常的IE行为，如果想展示JSON数据，需要将数据放在HTML <pre>或<code>中项目开发使用的是Flask-restplus，Flask-...
2019-01-22 21:04:58
2686
原创 Python * ** *args **kwargs用法与区别
*args: 允许函数接收多个参数，函数体内args类型为tuple*kwargs: 允许函数接收多个关键字参数，函数体内kwargs为字典
2019-01-16 11:55:03
775
1
原创 理解Docker中的Expose与publish
简单来说:EXPOSE 是一种文档表述方法--publish(or -p) 是一种映射host port到container port的方法EXPOSE只是一种文档表述方式，在dockerfile中让开发者可以更快读懂Image开放了哪些服务，没有实际作用意义。如果没有EXPOSE端口, Container之间服务也是可以互相访问的。Publish是在docker run发挥作用，是...
2019-01-14 11:08:05
4099
原创 IE11 error object doesn't support property or method 'fill'
IE 中报 object doesn't support property or method 'fill' 错误，但Chrome，Firefox正常。这是由于IE 11本身JS支持问题导致，需要添加polyfill支持。polyfill可以支持某些浏览器不支持的feature，它首先会检查浏览器是否支持，如果不支持，则调用自身的实现。 添加如下polyfill支持，问题解决<...
2018-12-17 10:33:17
2200
原创 Union-Find 并查集算法详解
引言领导（笑呵呵的走过来）：有个挑战性但很有意思的项目，你想不想试一下小溪子：（各个部位有点紧）好的，非常想干。领导：现在一个手机通常有几个名字，我们已经知道一些名字对代表相同手机，需要设计一个算法能够将一个手机的所有名字连接起来形成一个组，给定任一名字能够查找所属的组，并判断两个名字是否等效（相同手机）。小溪子：（恰巧看算法）这好像是动态连通性问题。动态连通性有...
2018-12-14 22:27:55
470
原创 正则表达式速查表
在文本分析中，正则表达式是一个必不可少的工具，但每次使用时候去查找什么代表匹配一次，该用哪个方法等也是比较繁琐的。基于日常工作使用正则的积累，将最常用的知识点放到一张A4纸中，可以打印出来，非常方便使用。 下载链接：https://download.csdn.net/download/xdshust/10850487 ...
2018-12-14 14:54:14
301
原创 Python JSON序列化
引言JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，独立于编程语言的文本格式。序列化(Serialization): 一种数据转换方法，将结构化数据转换为用于存储交换的格式，并且可以从新格式恢复原始的结构化数据。如二进制序列化。在微服务盛行的当下，不论是与其他APP共享数据还是提供REST API接口，JSON是重要的数据交换格式。那么在P...
2018-12-13 22:09:43
1195
原创 Kibana Dev Tools 在Chrome浏览器中查询无效
问题描述：使用Kibana Dev Tools开发ES查询，Chrome浏览器中查询不起作用，返回Index的原始数据，但Postman，FireFox都可以得到正确的查询结果。运行环境：Chrome版本：68Kibana 版本：5.6.12原因：Kibana Dev Tools会将带request body的Get请求会转换为Post请求，Bug详见 https:/...
2018-12-11 21:18:41
1263
2
原创 Python Trie树实现最长前缀字符串提取
在文本解析项目中，经常会碰到提取品牌、商家名等需求。如给定一个手机型号字符串，要求从中提取出品牌。Trie可以很好满足此类需求。Tire，也叫前缀树字典树，是一种数据结构，可以用来快速检索字符串是否存在以及在字符串开始处抽取预定义的子字符串。搜索时间复杂度为O(M) M为字符串长度。Tire代码实现Python中无指针，使用Dict实现树结构。# -*- coding: ...
2018-11-16 17:32:45
1826
原创 人工智能介绍
公司内部给非技术部门的分享，一点见解。https://wenku.baidu.com/view/307e4905ff4733687e21af45b307e87101f6f8fd
2018-10-12 10:44:57
1652
原创 uWSGI invalid request block size (max 4096)
问题描述:项目使用Nginx + uWSGI + Python Flaks 提供Restful API服务，用户反馈同一个服务，部分请求会出现502 Bad Gateway Error，部分请求正常返回。问题分析:检查uWSGI 日志，发现有如下错误日志uwsgi invalid request block size: 5922 (max 4096)...skip可见是因为r...
2018-10-12 10:14:42
1613
原创 Windows 10 不能访问Samba共享
问题描述：Linux通过Samba共享的文件在Windows上不能访问。提示如下错误信息：You can't access this shared folder because your organization's security policies block unauthenticated guest access. These policies help protect you...
2018-10-10 15:52:29
11144
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人