自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

ghostyusheng 's blog

欲戴王冠,必承其重。欲登高峰,必受其痛。韬光养晦,否极泰来。

原创 presto-mongodb-jupyter环境搭建

presto配置 1.presto 安装包下载 https://prestosql.io/download.html 2.cd presto-server-xxx/etc 3.mkdir catalog 4.确保存在以下文件,没有就创建 (192.168.201.31 换成自己主结点的 IP) F...

2020-03-12 18:02:23 65 0

原创 k8s集群部署+疑难问题解答

参考资料: https://tonybai.com/2019/10/21/how-to-deploy-a-kubernetes-cluster-with-ubuntu-server-18-04/ 安装(ubuntu举例) (1) sudo apt-get install docker.io (2)...

2019-12-17 16:58:38 110 0

原创 AWS亚马逊服务器配置过程

用户阿里云的用户都知道,AWS跟阿里ecs相比,复杂多了,所以这里记录一下基本的搭建过程。 VPC 创建一个网段,这样你的ec2机器就属于这个网段,可以配置堡垒机,公网私网等。 子网 创建三个子网,注意至少要夸两个可用区(aws强制的,为了容灾),网段在你第一步创建的网段基础上,创建”子网的子网...

2019-12-03 15:29:41 137 0

原创 webpack js如何自动区分开发生产环境,设置环境变量

2019-11-21 18:12:28 108 0

原创 python flink 1.9 环境搭建 - 处理kafka实例化报错

我看网上都是一个版本的中文文档,有些地方细节不够清楚,我这里补充一下。 首先flink在1.9才开始支持支持python的。开发主要思路是要先把源码编译成python的依赖包,然后用pip命令把包集成到python库。 安装命令如下: 1.git clone https://github.com/...

2019-10-23 10:48:57 1627 3

原创 linux使用shell脚本对多机器日志监控

linux使用shell脚本对多机器日志监控 遇到的难题 日志分散在三台服务器,每次报错查看日志都需要一台一台找,非常麻烦,所以第一反应就是有没有比较好的日志系统可以一次性查看所有的日志,后来发现都需要搭建,或者安装,或者配置相关服务,所以想了一些简单的监控多机日志的方案。 定义 设三台机器为 c...

2019-09-02 10:36:19 301 0

原创 php opcache优化

opcache.ini文件 废话不多说,直接上代码。 zend_extension=/home/.phpenv/versions/5.4.34/lib/php/extensions/no-debug-non-zts-20100525/opcache.so ### 这行看自己需要加还是不加,或者改...

2019-08-27 11:15:15 61 0

原创 python jupyter安装

安装 pip3 install --upgrade jupyter matplotlib numpy pandas scipy scikit-learn 启动 jupyter notebook

2019-08-09 17:44:17 119 0

原创 mysql大量数据快速导入

我遇到的是200g左右的数据,本来需要好几天挂机,在做了优化之后,确实速度提升了很多,但你还是要挂机= .= # 1.不要自动提交 SET autocommit=0; SET unique_checks=0; SET foreign_key_checks=0; source xxx;commi...

2019-07-29 14:07:15 235 0

原创 python使用jdbc连接hive

At last,I figure it out finally. But I think is not a great idea to use this component to connect hive, it's depend lots of jar package, and you...

2019-07-18 16:16:26 1113 7

原创 记一次并发/接口延迟问题的解决思路

博主是做搜索服务的,框架选型tornado,采用单进程+线程部署模式,有一次接口迁移,接了线上大流量请求过来,发现APM日志接口性能明显下降了,然后就开始了疯狂排查。 1.接口性能日志,排查APM接口性能监控日志(我部署了这个服务,如果你没有,你在接口层面打文件日志监测接口性能也可以) 2.系统层...

2019-07-08 11:02:28 722 1

原创 可视化服务的权限控制设计,kibana权限控制,nginx open permission错误

今天接到上级指示,对外开放的端口的可视化服务全部都要做权限控制,虽然这些端口在阿里云已经设置白名单,但是这样安全系数还是不完善,所以考虑在所有可视化服务商拦截一层,设计如下: 主服务机器:核心业务跑上面 可视化机器:kibana,rabbit可视化,grafana等等可视化服务... -...

2019-06-17 16:19:23 336 0

原创 制作vagrant镜像

1.下载你需要的镜像,以ubuntu为例 wget http://d16r8ew072anqo.cloudfront.net/ubuntu-16.04.6-server-amd64.iso 2.安装virtual box 3.把镜像放到vbox盘片中,启动 (请选择英文版,中文版有个busybox...

2019-05-16 16:07:57 359 0

原创 elstic search head代理配置,端口转发,跨域问题

先说下我遇到的场景: elstic search 节点 在内网机器,外网就一台机器暴露公网ip,但是想在公网访问els-head。 服务器架构如下: 我的解决过程: 1. 考虑端口转发 2.rinetd安装配置了转发 宿主机9200到内网ip的9200 (后来发现这步没必要,node...

2019-05-10 15:50:44 92 0

原创 mongodb安装和导入导出

mongoimport -h dds-xxxxx.mongodb.rds.xxx.com --port 3717 -u root -p xxx -d engine -c game_map game_map_20190509.mongo --authenticationDatabase admin ...

2019-05-09 18:50:31 90 0

原创 替代迅雷的下载软件

迅雷+百度网盘的流氓行为垄断了整个下载软件市场,反正就是无脑让你冲会员,LJ迅雷! 推荐使用aria2c,在这里下载符合你操作系统的版本 命令行用法: aria2c -x 10 -s 10 --file-allocation=none $url 下载地址: https://source...

2019-04-16 17:31:08 11421 0

原创 failed to register resizing support rc=verr invalid function,modprobe vboxsf failed

kali iso人肉虚拟机安装版,然后安装虚拟机“增强工具”就会爆这个错。 我知道大家装增强工具无非是为了共享文件夹,图形分辨率看的更爽,所以踩到这个坑,我也是。。。 废话不多说,解决方案是: 直接下载kali 的vbox / vm镜像版本,然后倒入到虚拟机就可以了,惊了吧。。。 http...

2019-04-16 16:40:04 843 0

原创 Kali渗透学习之识别活动主机

Kali渗透学习之识别活动主机 PING 概述 ping是一种计算机网络工具,用来测试数据包能否透过IP协议到达特定主机。 ping的运作原理是向目标主机传出一个ICMP echo@要求数据包,并等待接收echo回应数据包。 程序会按时间和成功响应的次数估算丢失数据包率(丢包率)和数据包往返时间(...

2019-04-04 16:52:06 432 0

原创 Kali渗透学习之判断网络范围

DMITRY 用于判断服务器网络范围,端口使用情况 注 hn-offshore.com是我自己的演示域名 用法 dmitry -wnspb hn-offshore.com 图左边是hn-offshore的服务器,右边是kali的请求结果,可以看到ssh版本信息被发现,服务器开启了22和80端...

2019-04-04 13:08:28 210 0

原创 Kali渗透学习之常用信息采集工具

DNS枚举和SNMP枚举 介绍 DNS枚举可以收集某个域名的DNS服务器,IP,计算机名称等信息。 DNSenum dnsenum --enum hn-offshore.com ![在这里插入图片描述](https://img-blog.csdnimg.cn/20190402144601551....

2019-04-03 17:29:07 293 0

原创 mysql/mongo同步elastic search

MYSQL篇: 1.安装logstash,略 2.logstash -f sync_game.conf --path.settings=/etc/logstash 3.tail -f /var/log/logstash/* ==> 同步成不成功,仔细查看你的日志 特殊名词解释: ...

2019-03-25 15:35:54 143 0

原创 tmux true color,真彩色配置

tmux真彩色问题困扰我一段时间,总算是解决了,这里有一些坑,记录一下。 首先看你的shell支不支持真彩色,可以执行命令: curl -s https://raw.githubusercontent.com/JohnMorales/dotfiles/master/colors/24-bit...

2019-03-22 17:32:38 1323 0

原创 virtualbox网络常见问题,virtualbox linux 无法访问网络,virtual box 中 linux ping 不通,配置NAT ssh 无法连接

问题1: 在virtualbox 安装了 linux 发现无法访问网络 ? 解决: 不要去改/etc/resolv.conf,正确的做法是在virtual box配置NAT地址转发。 ### 补充一下,我发现mac每次加载虚拟机都要点开高级,然后点端口配置,点ok,进到虚拟机外部才能用...

2019-03-01 19:38:16 3478 0

原创 Kali渗透学习之PAAS Wordpress

Kali渗透学习之PAAS Wordpress 目标 构建一个wordpress PAAS服务,爆破管理员密码 条件 1.virtual box 2.kali linux system 3.wordpress linux service 资源下载 wordpress linux: https:...

2019-03-01 19:14:55 151 0

原创 react redux简易模型

  MVVM的设计理念,dispatch 派遣事件后,由reducer处理,reducer的处理导致 redux store容器 对象状态改变,而整个store容器又是被监听的状态,如果状态变化,会触发一个函数 repaint(), 完成渲染。...

2019-02-22 13:34:20 90 0

原创 vim 语法解析/高亮突然崩溃,失效

我用vim 编辑A文件(进程占用),同时开另一个终端编辑A文件 ,提示我A文件已经存在swp,然后我选了q退出,发现A文件在终端一的代码解析高亮全部失效了。后来在仔细研究下,发现是因为vim受到.swp交换文件的影响导致 语法解析失效. 我之前的解决方法是  复制一个文件,然后把原来的删了,后来...

2019-02-21 18:54:02 432 0

原创 Linux shell unicode转utf8

今天拿到一个文件是unicode编码,所以想转成utf8看中文。探索了一下解决方案: 方案1: native2ascii -encoding UTF-8 -reverse A.json test.json

2019-02-19 15:45:56 1710 0

原创 elastic search 分布式主从配置和遇到的一些坑

1.els 在centos上跑,一定不能用root启动,要 useradd es 一个新的用户(记得给els文件夹 chown -Res:es权限哦) 2.els 对系统的软硬件限制,虚拟内存限制有一定要求不然会报错, 报错参考 https://blog.csdn.net/ghostyushe...

2019-02-13 20:14:13 1542 0

原创 elstic search 报错max virtual memory areas vm.max_map_count [65530] is too low,max file descriptors

报错: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] 解决:  在 /etc/sysctl.conf 追加最大虚拟空间限制 vm.max_map_count...

2019-02-13 19:32:14 187 0

原创 react简易快速部署(持续更新)

react配置的时候需要配置一大堆东西,每次webpack更新,xxx也更新了,以前文章写的一些配置就失效了,这跟react版本 webpack版本有一些关系,就很难受,这里提供一个最新的配置脚本,跟react新版本保持一致,大家可以根据这个基础脚本改下,快速启动react项目(npm insta...

2019-01-25 16:30:28 214 0

原创 command a expects \ followed by text

macos 用sed命令做插入等命令会爆这个错,主要是因为mac的sed命令有点老。 解决方法1: 在你敲完sed -n '5a  之后 敲一个反斜杠 换行然后输入其余的命令 解决方法2: 直接把sed命令写在shell脚本 解决方法3(推荐): brew install...

2019-01-14 22:12:04 1115 0

原创 jenkins ansible,Failed to connect to the host via ssh

如果你在用jenkins,编写的shell脚本用到ansible命令,报这个错主要是因为你的tomcat启动的用户是tomcat。如果你在root下的ansible命令能调通是因为你在目标机器配置的authorized_keys,而tomcat用户没有配置,因此tomcat用户你是调不通的,所以最...

2019-01-07 17:24:53 443 0

原创 docker中springboot热部署,热加载

<plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifact...

2019-01-03 14:25:07 1294 0

原创 server gave http response to https client或Error response from daemon

harbor遇到的问题 mac: 在属性配置里面把私有仓库地址加上 centos/ubuntu: 增加这个文件  然后重启 docker服务(要重启!)

2018-12-24 17:35:05 236 0

原创 harbor An image does not exist locally with the tag, Service Unavailable,Fail to generate key file

An image does not exist locally with the tag: 172.26.192.107/library/mysql 搭harbor遇到的 解决方案: docker tag redis 172.26.192.107/library/redis docke...

2018-12-24 17:29:43 3958 0

原创 harbor搭建并修改端口

安装前期条件 docker,docker-compose(版本不能太低) 安装 1.wget https://storage.googleapis.com/harbor-releases/harbor-offline-installer-v1.3.0.tgz 2.tar -xzvf harbor-...

2018-12-24 15:04:53 1458 0

原创 python tornado 热加载/自动重启

热加载这个概念我是在node中体验的,python这么强大的语言怎么会没有热加载呢?抱着这个心态google了一番,发现有的人用supervisor做的热加载,也是醉了,tornado那么大的框架热加载需要这么复杂吗?经过仔细研究发现实现tornado的热加载很简单。   感谢网友的纠正,to...

2018-12-11 21:05:48 1956 3

原创 vim 配置指南(持续更新)

vim 前端全家桶配置指南 简介 因为写了一段时间前端,一直在考虑vim是否能够替代前端无敌编辑器vscode,最后发现只能高仿,自己配置的性能跟vscode下的vim模式差不多,灵活性更高点,喜欢折腾的朋友可以试试,否则用vscode vim模式吧,已经神一般的完美了(不是高级黑-。-)。 这套...

2018-12-08 15:54:32 2386 2

原创 vim8.1 内置终端分屏新特性(Vim inner shell of split window)

vim8.1 终端分屏新特性 先说下怎么升级8.1 mac 用户 brew install vim --with-lua --with-override-system-vi (命令行版) brew install macvim --with-lua --with-override-system-v...

2018-12-08 13:20:59 2291 4

原创 js原型继承的几种方式

引言 js的原型继承有很多种方式,做原型继承主要为了用原型中的一些方法,这里分析了一些方案的可行性。 function Person() {} function Man() {} man = new Man(); 方法1(不完美继承) Man.__proto__ = Person.__proto...

2018-12-04 16:28:32 195 0

提示
确定要删除当前文章?
取消 删除