- 博客(39)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 【高可用】分布式作业系统 Elastic-Job-Cloud 源码分析
Elastic job是当当网架构师张亮,曹昊和江树建基于Zookepper、Quartz开发并开源的一个Java分布式定时任务，解决了Quartz不支持分布式的弊端。Elastic job主要的功能有支持弹性扩容，通过Zookepper集中管理和监控job，支持失效转移等，这些都是Quartz等其他定时任务无法比拟的。 目前Elastic job的最新版本已经由原来的elast
2018-01-31 15:03:55
3131
原创 对RESTful API的个人看法
什么是REST？可以总结为一句话：REST是所有Web应用都应该遵守的架构设计指导原则。 Representational State Transfer，翻译是”表现层状态转化”。 面向资源是REST最明显的特征，对于同一个资源的一组不同的操作。资源是服务器上一个可命名的抽象概念，资源是以名词为核心来组织的，首先关注的是名词。REST要求，必须通过统一的接口来对资源执行各种操作。对
2018-01-30 17:05:16
1667
3
原创 独辟蹊径：基于产品思维驱动运维自动化建设
前言技术人员转型产品经理（Product Manager）并成功的有很多例子。牛逼的业界大佬有Pony马、雷布斯、张小龙、周鸿祎等；不算牛逼但也做出不俗成果的有你身边的 XXX、YYY、ZZZ 等。现在互联网业界大多数to B （即对企业级，区别于to C）的 IaaS 或者 PaaS，如各种云计算服务、存储服务、安全服务、数据服务、监控服务、日志分析服务、DevOps服务等产品，显然是一
2018-01-29 17:02:24
882
原创 打通MySQL架构和业务的任督二脉
目前，在很多OLTP场景中，MySQL数据库都有着广泛的应用，也有很多不同的使用方式。从数据库的业务需求、架构设计、运营维护、再到扩容迁移，不同的MySQL架构有不同的特点，适应一定的业务场景，或者解决一定的业务问题。从数据库的业务需求、架构设计、运营维护、再到扩容迁移，不同的 MySQL 架构有不同的特点，适应一定的业务场景，或者解决一定的业务问题。DBA 作为数据库架构的设
2018-01-29 16:48:20
734
1
原创 关于大型监控系统的高性能组件设计
以前有幸参与过一个分布式监控系统开发，有一些所谓的设计和开发的经验，但苦于公司的内部系统无法开源，所以也就藏着掖着。 前两天跟一途牛网、饿了么的朋友胡扯了监控系统的事，这尼玛正好点燃了我这高射炮，可以有个地好好释放了下。 记得13年的时候，跟金山猎豹的斌哥聊过一些设计方案，后来听他说也借鉴了一些思路，真假就不知道了。 趁着现在脑袋还清闲，开源的监控系统还没有注意这一片思路前，先把自己的经验共
2018-01-26 17:34:47
954
原创 分布式时序数据库InfluxDB
InfluxDB 是一个开源分布式时序、事件和指标数据库。使用 Go 语言编写，无需外部依赖。其设计目标是实现分布式和水平伸缩扩展。它有三大特性：1. Time Series （时间序列）：你可以使用与时间有关的相关函数（如最大，最小，求和等）2. Metrics（度量）：你可以实时对大量数据进行计算3. Eevents（事件）：它支持任意的事件数据特点
2018-01-26 17:32:25
934
原创 【大总结】几种安装linux操作系统的方法
Linux安装操作系统环境有很多种方法，今天就在这里列举些。系统高手勿喷（可能还有新的装机技术）！Kickstart+HTTP+DHCP+TFTPpxe+kickstartcobber+pxe(http+ftp+dhcp)Windows部署服务统一安装win和linux操作系统使用raid磁盘阵列技术进行磁盘同步对拷（前提硬件环境相同）使用VM、qemu等虚拟化软件进行镜像格式转换使用
2018-01-26 17:27:24
42876
2
原创 ELK Stack集群部署与Grafana及可视化图形
今天说说，我们为什么会选择从kibana4迁移到grafana，并选用grafana作为elasticsearch的图表展现工具。 文章中关于kinaba和grafana的对比会有些片面，勿喷.最一开始使用kibana ElasticSearch的组合是为了集中式收集应用及系统日志. 后来由于业务方面的原因，现在各个业务的多数模块也选择依赖elasticsearch。除此之外，现
2018-01-26 14:00:44
4414
原创 【前端】大数据时代的图表可视化利器——Highcharts,D3和百度的Echarts
当你开始嫌弃Excel过于简单，当你面对python和R的可视化工具包望而却步，那么恭喜你，Echarts或Highcharts这两种基于浏览器渲染技术的纯JS框架，就是你的不二选择。当然，如果技术够硬，还可以选择D3.js等，学成后牛逼哄哄，非常适合用于为用户制定个性化图表，但更强的专业性也就意味着更高的学习成本，仁者见仁智者见智吧。还记得阿里巴巴那个令人澎湃激情的双十一吗？还记得淘宝生动形象地
2018-01-26 13:48:53
22084
原创 WebSocket协议的深入探究
摘要： WebSocket的出现，使得浏览器具备了实时双向通信的能力。本文由浅入深，介绍了WebSocket如何建立连接、交换数据的细节，以及数据帧的格式。此外，还简要介绍了针对WebSocket的安全攻击，以及协议是如何抵御类似攻击的。一、内容概览WebSocket的出现，使得浏览器具备了实时双向通信的能力。本文由浅入深，介绍了WebSocket如何建立连接、交换数据的细节，以及
2018-01-25 18:04:54
740
原创 Linux 删除除了某个文件之外的所有文件
linux如何用命令实现删除除了 a之外的所有文件 的几种方法不知你是否想过在Linux命令行上，如何实现删除除了某个文件之外的所有文件？如abc文件夹下有a、b、c三个文件，如何一行命令删除b和c,不删除a。有位童鞋在工作经常有此需求，本文将介绍其他童鞋提供的实现方法。其中rm -f !(a) 最为方便。如果保留a和b,可以运行rm -f !(a|b)来实现
2018-01-25 15:26:16
5937
原创 ChatOps＝AIOps落地＋DevOps升级+SRE实践
ChatOps＝AIOps落地＋DevOps升级+SRE实践产品迭代技术升级概念换代 @全体成员 传统—云计算/大数据—人工智能——……虚拟机VM—容器Doceker—微服务Microsevice—无服务Serverless—……@全体成员 群里可以开启全员学习模式一波未平，一波又起。技术领域不断兴起的新概念让人应接不暇，而新概念必然是为了解决现有工作场景中
2018-01-22 17:13:45
3312
1
原创 【整理】Python常用的框架
今天，有非常多的Python框架，用来帮助你更轻松的创建web应用。这些框架把相应的模块组织起来，使得构建应用的时候可以更快捷，也不用去关注一些细节（例如socket和协议），所以需要的都在框架里了。接下来我们会介绍不同的选项。Python发源于八十年代后期。开发者是Centrum Wiskunde & Informatica的Guido van Rossum，这是位于荷兰阿姆斯特丹科学园区的一个
2018-01-18 15:33:47
2364
1
原创 【基础知识】Linux系统的安全与优化
引言：我们必须明白：最小的权限+最少的服务=最大的安全 很久没有写过文章了，最近收到不少朋友来信，提及了有关优化配置和一些新的安全问题，在此我想和大家浅显讨论一下这些问题，有什么不准确和有更好的方式，请给我来信共同讨论提高。 在网上看到不少有关linux优化方面的好文章，在此我也不赘述这些文章了，我只想从我自己的体会来谈谈这方面的问题。所以，无论是配置任何服务器，我们都必须把不用的服务
2018-01-18 15:01:16
2434
原创 python异步IO与批量请求处理
我们知道，CPU的速度远远快于磁盘、网络等IO。在一个线程中，CPU执行代码的速度极快，然而，一旦遇到IO操作，如读写文件、发送网络数据时，就需要等待IO操作完成，才能继续进行下一步操作。这种情况称为同步IO。在IO操作的过程中，当前线程被挂起，而其他需要CPU执行的代码就无法被当前线程执行了。因为一个IO操作就阻塞了当前线程，导致其他代码无法执行，所以我们必须使用多线程或者多进程来并发执...
2018-01-17 17:32:40
5225
1
原创 Python 中的进程、线程、协程、同步、异步、回调
进程和线程究竟是什么东西？传统网络服务模型是如何工作的？协程和线程的关系和区别有哪些？IO过程在什么时间发生？一、上下文切换技术简述在进一步之前，让我们先回顾一下各种上下文切换技术。不过首先说明一点术语。当我们说“上下文”的时候，指的是程序在执行中的一个状态。通常我们会用调用栈来表示这个状态——栈记载了每个调用层级执行到哪里，还有执行时的环境情况等所有有关的
2018-01-17 17:20:46
827
原创 百度发布深度学习可视化平台 Visual DL
恩威AI 科技评论消息，1 月 16 日，百度 ECharts 团队发布旗下知名开源产品 ECharts 的最新 4.0 版本，并宣布品牌升级为「百度数据可视化实验室」（http://vis.baidu.com/）。除了这两大消息外，团队还正式发布深度学习可视化平台 Visual DL，以及其他一系列重量级产品，包括 ECharts GL 1.0 正式版，ZRender 4.0 全新版本，We
2018-01-17 16:48:24
4208
原创 Python批量给云主机配置安全组
这几年对运维人员来说最大的变化可能就是公有云的出现了，我相信可能很多小伙伴公司业务就跑在公有云上， 因为公司业务关系，我个人接触公有云非常的早，大概在12年左右就是开始使用亚马逊云，后来逐渐接触到国内的阿里，腾讯云等，随着公司业务往国内发展，这几年我们也使用了很多国内的公有云厂商，所以在云运维方面也积累了一些经验，从传统的物理机到公有云运维，我个人认为最大的问题就是你能不能用公有云的思路去思考去实
2018-01-16 14:15:43
934
原创 【记录】那些很实用的Nginx规则
1. 概述大家都知道Nginx有很多功能模块，比如反向代理、缓存等，这篇文章总结下我们这些年实际环境中那些有用的Nginx规则和模块，大部分是用法的概括及介绍，具体细节在实际配置时再自行google。2. 内置语法先介绍Nginx默认已支持的内置功能，靠这些基本就满足大部分的web服务需求。2.1 proxy代理proxy常用于两类应用场景，一类是中转，如异地科学的上网方式，另
2018-01-16 13:53:41
1187
原创 微服务化改造
1 写在前面背景技术圈流行一句话，凡脱离业务谈架构的，都是耍流氓。作为微服务改造系列的第一篇博客，首先介绍一下实施这次技术改造的背景。第一，我所在公司（简称XR）的后台服务采用的主技术栈是Scala，虽然开发效率很高，但也带来一系列的副作用。1.由于Scala语言强大的表达能力和丰富的函数式特性，很容易写出俗称“意大利面条”式的代码，一个类文件动辄上千行，代码的可读性非常差，导
2018-01-12 15:31:40
1836
1
原创 业务系统成功微服务化改造的实施步骤
1. 篇首语业务系统是任何一个用户产品的必须组成，充当着一个门面的角色，用户的输入就是这个系统需要维护的，数据存取是整个系统的核心。例如，广告业务系统的输入是广告主的投放约束、定向条件，微博业务系统的输入是短文字、图片等。 在应用发展初期或者规模不大的情况下，有非常简单的实现方案，LNMP、JSP、PyWeb都是你能随口说出来的词，如果用某种架构方式来描述，那就可以称做单体
2018-01-12 15:27:58
11063
原创 【docker&spring cloud】微服务化改造
微服务化改造系列之一：总览1 写在前面背景技术圈流行一句话，凡脱离业务谈架构的，都是耍流氓。作为微服务改造系列的第一篇博客，首先介绍一下实施这次技术改造的背景。第一，我所在公司（简称XR）的后台服务采用的主技术栈是Scala，虽然开发效率很高，但也带来一系列的副作用。1.由于Scala语言强大的表达能力和丰富的函数式特性，很容易写出俗称“意大利面条”式的代码，一
2018-01-12 15:20:19
2094
2
原创 【CI/CD】几种常见的不停机发布方式
何为不停机发布？本文所说的不停机发布，是指在不停止对外服务的前提下完成应用的更新。与热部署的区别在于，热部署关注于应用层面并且以不重启应用为前提，而不停机发布则关注于服务层面。随着摩尔定律逐渐逼近极限和多核时代的到来，分布式应用已经成为事实上的主流。下文首先给出一种通用的适用于分布式应用环境的不停机发布方式，然后再介绍Master/Worker这种常见的适用于单机应用的不停机发布方式。
2018-01-12 15:13:37
3242
原创 【Java进阶】利用APT优雅的实现统一日志格式
统一日志格式的几种方式无论是搭建日志平台还是进行大数据分析，统一日志格式都是一个重要的前提条件。假设要统一成下面的日志格式，日志格式：[{系统}|{模块}]{描述}[param1=value1$param2=value2]，例如：[API|Weixin]Weixin send message failed. [senderId=1234$receiverId=5678]
2018-01-12 15:13:08
1880
原创 【Play】热部署是如何工作的？
1.什么是热部署所谓热部署，就是在应用正在运行的时候升级软件，却不需要重新启动应用。对于Java应用程序来说，热部署就是在运行时更新Java类文件。– 百度百科对于Java应用，有三种常见的实现热部署的方式：JPDA: 利用JVM原生的JPDA接口，参见官方文档Classloader: 通过创建新的Classloader来加载新的Class文件。OSGi就是
2018-01-12 15:12:07
1907
原创 使用tar+pigz+ssh实现大数据的高效传输
以前我们跨主机拷贝大数据的时候，比如要拷贝超过100GB的mysql原始数据，我们通常的做法如下：在源端打包压缩为tar.gz文件采用scp或者rsync等方式拷贝到目标主机在目标主机解压文件这三个过程是同步阻塞，即不能同时异步执行，导致效率低下。现在我们将过程优化为以数据流的方式，同时执行（非阻塞模式），则效率一般可以提高到原来的3倍以上，具体实现如下：
2018-01-12 14:12:59
1685
原创 把Web集群由HTTP转换为HTTPS（LVS+HAProxy+SSL）
一、环境介绍 接到通知，要求网站由http改为使用https，目前我的网站前端架构如下图所示： 假设我们有两台物理机，每台物理机上面有很多的tomcat容器，前端使用的是haproxy进行的http层负载均衡，再前端我们使用了LVS负载均衡，整个LVS使用的是DR模型。 刚开始我打算把tomcat改成https，设置成之后再设置haproxy的时候
2018-01-12 14:10:05
2049
原创 百万英雄类答题游戏的程序员打开方式
最近知识答题类的app应用和网站 都很火 所以机器人多了，，百度度秘、搜狗小汪等Python发挥了很大作用《百万英雄》《冲顶大会》《头脑王者》《一站到底》《芝士超人》《黄金十秒》《百万赢家》大数据Hadoop，模拟器、OCR、搜索引擎+机器学习+python 一起可以破解上述答题PK赛https://www.appinn.com/millionheroassistant/
2018-01-12 14:06:23
7057
原创 开源与自研：自动化运维平台从0到1的三段式探索
本文根据DBAplus社群第133期线上分享整理而成。俗话说利用开源可以避免重复造轮子，自研是当开源已经满足不了实际的业务需求的时候就要自行编程开发。两者的共同目标就是实现自动化目的。 讲师介绍 随着业务规模的逐渐增大，IT运维的环境变得庞大而复杂。传统的运维手段已无法满足我们的要求，而自动化运维能把周期性、重复性、规律性的工作交给平台去处理，通过标准化、自动化、过程优化来降低运
2018-01-11 11:13:03
9708
1
原创 【批量管理】携程运维自动化平台，上万服务器变更也可以很轻松
给大家分享的主题是基于 StackStorm 的携程运维自动化平台。今年5月，勒索病毒爆发，席卷全球，影响了政府部门、医疗机构、公共交通、学校、企业等等，给全世界带来了巨大损失。如果有投资眼光的人，遇到这个事情，考虑的可能是购买比特币。而作为运维工程师，考虑的只是如何防止病毒影响自己公司的业务。相信很多运维同行，都参与到了应对勒索病毒的战役中。关于这个病毒，虽然传播
2018-01-11 11:04:25
2717
3
原创 【转载】腾讯运维10年，我斩获了这5把“杀手锏”
十年不苟且的运维之路加入腾讯已十年的运维老兵，回顾这十年：2004年：加入腾讯，做贺卡开发；2005年：加入QQ空间开发团队，负责留言版模块；2006年~至今：公司组织架构调整，接触运维工作。期间，他带领运维团队负责QQ延伸出来的各种社群的运维和维护，包括QQ空间、QQ音乐、QQ会员、QQ秀等一系列的QQ产品。团队89个人，维护了10万家服务器。经历的大事件有：
2018-01-11 10:57:28
849
原创 【devops】智能运维就是由 AI 代替运维人员？
听了有关AI运维之后有很多人感到比较焦虑，我所从事的运维或开发将来会不会被AI给替代掉呢？现在新技术发展的特别快，各种语言、技术、理念让大家确实感到自顾不暇跟不上趟，但是有一点，在这里我要特别重申一下，AI在目前这个阶段还是一种辅助大家来进行判断和学习、定位处理问题的工具，就像无人驾驶，现在可以做到完全没有人驾驶吗？肯定不行，未来无人驾驶是完全可以替代人的，但它还有很长一段路要走。AI运维
2018-01-11 10:49:45
1922
2
原创 Python基于代理IP的挖掘与分析
废话不多说，直入主题。关于代理IP的挖掘与分析，个人的一些分析与总结。1. 思路1、获取代理地址2、对获取的代理地址进行验证，提取出真实可用的代理地址3、代理指纹的提取与自动化挖掘代理4、根据IP的相关信息进行排序:存活时间。存活时间较长的IP一般为固定的IP5、数据分析与利用a. 代理IP的各种作用:爬虫、隐藏真实IP、代理上外网、薅羊
2018-01-11 09:50:54
1521
2
原创 一套大而全的系统架构体系与具体落地方案
写在最前面上次参加DBAplus举办的敏捷运维峰会时，一个兄弟的提问一直萦绕耳边，由于时间有限没有进行深入的交流，甚是遗憾。那个问题是：你们公司的IT系统架构是怎样的？又如何具体落地？采用了哪些开源或是商业的技术？其实之前也写过或是做过一些关于系统架构的分享，或多或少的个人或其它限制，总觉得未能尽兴，留有遗憾。因此经过最近一个多月的总结和梳理，在这写出来跟大家做一个分享，这也是对我
2018-01-10 13:23:08
19085
2
原创 利用「系统思维」基本框架，拆解复杂的运营问题
系统思维是一种从整体、全局出发看问题的思维方式。千万别小看了系统思维，千万别以为只是一个非常笼统的概念，系统思维有一套基本的思考框架，其价值远比我们想象的要大。《军师联盟：虎啸龙吟》中有一段特别精彩，诸葛亮带着10万蜀军和司马懿的20万魏军对峙。兵力强大的魏军本来可以来一场大胜，但是司马懿没有打，而是下令防守。为什么明显占据优势还不打呢？司马懿明白：蜀军远征魏国，只要粮草供应不
2018-01-10 11:04:29
2200
原创 [常用]MySQL管理工具和应用程序
工欲善其事，必先利其器。几乎每个开发人员都有最钟爱的 MySQL 管理工具，它帮助开发人员在许多方面支持包括 PostgreSQL，MySQL，SQLite，Redis，MongoDB 等在内的多种数据库；提供各种最新的特性，包括触发器、事件、视图、存储过程和外键，支持导入、数据备份、对象结构等多种功能。 这篇文章收集了15款最佳的 MySQL 管理工具和应用软件，帮助你轻松快速完成工作
2018-01-09 14:14:44
5420
2
原创 将高版本mysql数据库的数据导入低版本mysql中
前言最近做了个网站，准备放到虚拟主机上的时候，发现本地数据库是mysql5.6，服务器上的mysql是5.0的。于是尝试导出数据，结果，导入的数据不是出错，就是各种乱码。折腾了好久之后，终于找到了解决之道，特来水一贴，分享一发。建议是在数据迁移的时候版本差距别太大，有可能会出现版本兼容问题。方法之前用的是phpmyadmin导出的，即使设置了my
2018-01-08 16:53:07
14733
5
原创 浅谈Webpack的入门
写在前面的话1、webpack 中文文档 https://doc.webpack-china.org/2、webpack 中文文档 https://www.webpackjs.com/说明这是一个最基础的集合React,css模块化，热加载的webpack配置示例，使用方法如下。使用前请先yarn,cnpm install或npm install安装
2018-01-08 16:41:08
599
原创 Intel CPU架构处理器漏洞越捅越大 打补丁将损失30%性能
还记得前不久那个被曝光影响大面积Intel Core CPU产品的安全漏洞吗？这貌似只是冰山一角，就在今天人们发现了Intel处理器里一个更为致命的漏洞，从最底端的Pentium，到最新的Coffee Lake Core，无一幸免，现在全球的OS开发者们都全部行动了起来为Linux打补丁，微软也已经在对这个漏洞做反应……光看这种行动的规模就知道这次爆出的漏洞有多严重了。
2018-01-04 11:28:32
4219
1
WEB在线管理系统登录系统
2011-03-21
3.将控制台程序BIN目录的exe文件加入到打包程序文件中,
2010-03-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人