- 博客(212)
- 收藏
- 关注
RSS订阅转载 怎么将ETL技术落地
ETL概述ETL（Extraction-Transformation-Loading）是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据，ETL是BI（商业智能）项目重要的一个环节。数据治理流程数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程...
2019-09-27 18:04:00
334
转载 vue.js解决刷新404找不到页面问题
1、将包解压到ROOT目录后创建WEB-INF目录mkdir WEB-INF2、进入WEB-INF目录，创建web.xml文件cd WEB-INFtouch web.xml3、编辑web.xml<?xml version="1.0" encoding="UTF-8"?><web-app xmlns="http://xmln...
2019-06-14 08:09:00
2261
转载 Python 图像识别入门篇
一、安装Python依赖pip install pytesseract pyocr pillow Imagepip安装：https://www.cnblogs.com/Javame/p/10918325.html二、下载并安装 tesseract-ocr：wget https://download.csdn.net/download/yiyu1/1120037...
2019-05-24 15:27:00
592
转载 快速实现CentOS7安装python-pip
1、首先检查linux有没有安装python-pip包，终端执行 pip -V[root@ network-scripts]# pip -V-bash: pip: command not found2、没有python-pip包就执行命令yum -y install epel-release[root@ network-scripts]# yum -y in...
2019-05-24 15:19:00
135
转载 ffmpeg+HLS实现直播与回放
Nginx配置视频服务器 server { listen 28024; server_name localhost; location /hls{ add_header Access-Control-Allow-Origin *; add_header Access-Control-Allow-Headers X-Re...
2019-05-17 09:04:00
1900
转载 HBase 二级索引与Coprocessor协处理器
Coprocessor简介(1)实现目的HBase无法轻易建立“二级索引”；执行求和、计数、排序等操作比较困难，必须通过MapReduce/Spark实现，对于简单的统计或聚合计算时，可能会因为网络与IO开销大而带来性能问题。(2)灵感来源 灵感来源于Bigtable的协处理器，包含如下特性：每个表服务...
2019-05-05 13:56:00
135
转载 你做电商死法TOP10：你中了几枪？
有相关报道说淘宝目前只有3%的店铺能够盈利，其余97%的店铺基本上都成了炮灰。这是一个非常可怕的数字，都说不赚钱的电商是犯罪，那么，是什么原因导致了会有如此庞大的电商群体一如既往的走在这千军万马的不归路上呢? 2013年，我曾经总结了一个《传统土豪对电商的16个认识误区》，在性感营销新浪微博和微信公众账号都得到了广泛传播。这些误区有的是战略层面的，有的是执行层面的，但...
2019-05-05 09:05:00
137
转载 讲讲跳跃表（Skip Lists）
跳跃表（Skip Lists）是一种有序的数据结构，它通过在每个节点中维持多个指向其他节点的指针，从而达到快速访问节点的目的。在大部分情况下，跳跃表的效率可以和平衡树相媲美，并且在实现上比平衡树要更为简单，因而得到了广泛的应用。如上图所示，是一个跳跃表的示例。由此可以看出跳跃表的几个特点：有序性，如上图中各节点呈递增趋势；跳跃表由多个层组成；跳...
2019-01-28 08:44:00
223
转载 说框架设计思路
其旨在打造一个集应用开发、大数据存储、处理、分布式计算、自动化部署的无节点微服务集中开发与运行平台，以响应业务的快速变更，满足系统对大数据，大并发与开发效率的需求；平台设计以数据为核，以groovy脚本为基础，通过提供api、异步消息处理、调度等基础构件来支持应用的快速开发;核心是通过整合现有开源项目来实现的，其主要用到的技术栈包括：sp...
2019-01-23 13:13:00
211
转载 老王说架构
分布式架构设计：1、横向分层，将系统在横向维度上切分成几个部分，每个部分负责一部分相对比较单一的职责，例如：MVC经典模式。2、纵向分割，将系统功能模块归类切分成几个部分，包装成高内聚低耦合的模块单元，不同功能模块直接通过远程调用协助工作。3、缓存技术，将是改善系统性能的第一手段，从上到下依次：浏览器缓存、反向代理缓存、静态文件缓存、数据层缓存。4、异步处理，将一个复杂业务操作分成几个阶...
2019-01-17 08:22:00
76
转载 从URL到看到网页的过程
从我们输入URL并按下回车键到看到网页结果之间发生了什么？换句话说，一张网页，要经历怎样的过程，才能抵达用户面前？下面来从一些细节上面尝试一下探寻里面的秘密。前言：键盘与硬件中断说到输入URL，当然是从手敲键盘开始。对于键盘，生活中用到的最常见的键盘有两种：薄膜键盘、机械键盘。薄膜键盘：由面板、上电路、隔离层、下电路构成。有外观优美、寿命较长、成本低廉的特点，是最为流...
2019-01-10 07:30:00
165
转载 RabbitMQ如何工作和RabbitMQ核心概念
RabbitMQ是一个开源的消息代理软件。它接受来自生产者的消息并将其传递给消费者。它就像一个中间人，可以用来减少Web应用程序服务器的负载和交付时间。RabbitMQ如何工作让我们简要介绍一下RabbitMQ的工作原理。让我们首先熟悉RabbitMQ的一些重要概念：生产者：发送消息的应用程序。消费者：接收消息的应用程序。队列：存储消息的缓...
2019-01-08 08:07:00
128
转载 老王说JavaDoc
开场白说点东西：{抓住客户的痛点、痒点、爽点，提出我们产品的核心价值。产品定位技术架构以微服务为核心的前后端分离，业务积木装配式技术架构。传感器采集，物联网+互联网转换，大数据分布式、存储、计算、可视化加持。消息引擎、搜索引擎、工作流引擎全方位技术支持。研发模式Scrum敏捷研发，让每一次需求迭代（task），就像讲故事（story）一样简单。交付流程...
2019-01-04 08:47:00
111
转载 FaaS技术框架
FaaS介绍微服务（MicroService）是以专注于单一服务/功能的小型单元块为基础，利用模块化的方式组合成复杂的大型应用服务。FaaS是Function as a Service的缩写,可以简单理解为功能服务化。FaaS提供了一种比微服务更加服务碎片化的软件架构范式。FaaS可以让研发只需要关注业务代码逻辑，不再关注技术架构。例如：FaaS提供“选择工作流模板”、“启动...
2019-01-03 08:47:00
1008
转载 视频拉流 Linux安装FFmpeg
1 下载最新源码包并解压$ wget http://ffmpeg.org/releases/ffmpeg-3.1.3.tar.bz2$ tar jxvf ffmpeg-3.1.3.tar.bz22安装yasm$ yum install gcc $ yum install yasm3安装ffmpeg$ cd ffmpeg-3.1.3$ ...
2018-12-14 10:15:00
331
转载 开源负载测试工具k6比JMeter更容易的5件事
k6是GitHub上提供的开源负载测试工具。它是用Go编写的，并运行用JavaScript编写的测试脚本。它受到了开发人员，测试人员和DevOps团队的强烈兴趣，并拥有超过4400名GitHub明星。k6是命令行驱动的，测试结果输出到stdout或结果分析工具，如Load Impact Insights。JMeter也是一个开源负载测试工具，已存在多年。它非常受欢迎，拥有数千名用户。...
2018-12-14 07:45:00
598
转载 海康&大华&DSS视频拉流-RTSP转RTMP多媒体播放技术
海康&大华&DSS获取RTSP实时流海康：rtsp://[username]:[password]@[ip]:[port]/[codec]/[channel]/[subtype]/av_stream说明：username: 用户名。例如admin。password: 密码。例如12345。ip: 为设备IP。例如 192.0.0.64。port: 端口号默认为5...
2018-12-05 14:42:00
1558
转载 DevOps让研发人员越来越失望？比如工作量与报酬
作为一名工程师，您在开发软件时已经有足够的责任。在您的工作日活动中添加更多任务（比如与DevOps相关的任务）可能听起来不太吸引人。使用DevOps，您不仅负责生成工作软件，而且现在还需要自动化软件的构建，测试和部署阶段。这要照顾很多！但是除了额外的工作，也许你只是厌倦了DevOps运动，而围绕它的所有炒作都会导致DevOps疲劳。 作为一名前开发人员，我可以认同这种疲劳感。...
2018-11-28 08:15:00
267
转载 通过多线程处理提高Redis性能
Redis通常被称为单进程单线程模型。这不是真的！Redis还运行多个后端线程来执行后端清理工作，例如清理脏数据和关闭文件描述符。在Redis中，主线程负责主要任务，包括但不限于：接收来自客户端的连接，处理连接读/写事件，解析请求，处理命令，处理定时器事件和同步数据。只有一个CPU核心运行单个进程和单个线程。对于小数据包，Redis服务器可以处理80,000到100,000 ...
2018-11-27 08:19:00
265
转载 谈谈代码重构
有时候，当一个重要的项目进展不顺利时，就有了重新开始的愿望。有时这来自管理层，但通常来自开发人员自己。他们说，如果他们只有第二次机会，并且可以重新开始，那么他们可以建立正确的系统。但这几乎从未发生过。从我这拿走。我见过公司多次尝试，我可以毫无例外地说，当一个团队开始用基本相同的方法重建相同的系统时，他们最终会得到大致相同的系统，包括同样的问题只有这个他...
2018-11-20 08:39:00
95
转载 【大数据】了解Hadoop框架的基础知识
介绍此Refcard提供了Apache Hadoop，这是最流行的软件框架，可使用简单的高级编程模型实现大型数据集的分布式存储和处理。我们将介绍Hadoop最重要的概念，描述其架构，指导您如何开始使用它以及在Hadoop上编写和执行各种应用程序。简而言之，Hadoop是Apache Software Foundation的一个开源项目，可以安装在服务器集群上，以便这些服务器可以通...
2018-11-09 15:00:00
80
转载 【干货】微服务设计的基础知识
人体是不同系统的组合，其中大多数系统是独立的，并且作为一个整体协同工作。每个系统都有自己的特定功能。所有具有多种其他支持框架的器官构成了一个功能完备的机构。现在，如果应用于软件系统，这就是微服务架构的概念。在技术方面，微服务系统允许开发单个功能模块。这种开发单一功能模块的趋势为大型和小型组织提高了灵活性，性能和成本效率，同时实现了持续测试和早期交付。但是，在我们深入研究微服务设计的基...
2018-11-07 07:44:00
333
转载 在Jenkins管道中添加Webhook
你有没有尝试过在Jenkins中添加GitHub webhook？在这篇博客中，我将演示在您的管道中添加webhook的最简单方法。首先，什么是webhook？webhook的概念很简单。webhook是一个HTTP回调，当通过HTTP POST通过简单的事件通知发生某事时发生的HTTP POST。Jenkins中的GitHub webhooks用于在开发人员向主分支提交内容时触...
2018-10-31 08:01:00
603
转载 Elasticsearch必备技能之索引迁移
将ES中的索引拷贝到其他ES中，是不是很重要呢？长话短说，推荐一个工具：一、elasticsearch-dump安装：#yum install epel-release#yum install nodejs#yum install npm#npm install elasticdump#cd node_modules/elasticdump/bin#...
2018-10-19 10:17:00
204
转载 聊聊 API Gateway 和 Netflix Zuul
最近参与了公司 API Gateway 的搭建工作，技术选型是 Netflix Zuul，主要聊一聊其中的一些心得和体会。本文主要是介绍使用 Zuul 且在不强制使用其他 Neflix OSS 组件时，如何搭建生产环境的 Gateway，以及能使用 Gateway 做哪些事。不打算介绍任何关于如何快速搭建 Zuul，或是一些轻易集成 Eureka 之类的的方法，这些在官方文档上...
2018-10-12 08:07:00
104
转载 Elasticsearch单机双节点集群部署实战
一、安装第一个ElasticSearch（主节点）1、创建es用户，启动es不能使用root用户useradd espasswd es12root用户进入/home/es目录下２、获取ElasticSearch安装包wget https://artifacts.elastic.co/downloads/elasticsearch/el...
2018-10-11 09:32:00
670
转载 详解Linux高效命令head、tail和cat
Linux中提供了多种命令和程序用于浏览文件。无论对于新手、普通用户、高级用户、开发人员还是管理员来说，与诸多文件打交道都是一项艰巨的任务。而如何做到高效更称得上是一门艺术。今天就让我们来探讨几个最常使用的命令head、tail和cat，多数人对他们都有所了解，但这其中绝大部分人在真正使用的时候恐怕就不知所措了。1. headhead命令用于获取一个文件的前10行内容。其基本...
2018-10-09 09:52:00
351
转载 PHP基础：MYSQL数据库操作
1.连接到数据库：· 面向对象的方法： $db = new mysqli('hostname', 'username', 'password', 'dbname');· 面向过程的方法： $db = mysqli_connect('hostname', 'username', 'password', 'dbname');· 连接结果的检查： if ...
2018-10-08 08:08:00
181
转载 HTTPS 站点的性能优化
HTTPS 站中的几大难题性能，包括：HTTPS需要多次握手，因此网络耗时变长，用户从HTTP跳转到HTTPS需要一些时间；HTTPS要做RSA校验，这会影响到设备性能；所有CDN节点要支持HTTPS，而且需要有极其复杂的解决方案来面对DDoS的挑战。其次，兼容性及周边，如：页面里所有嵌入的资源都要改成HTTPS的，这些资源可能会来自不同的部门甚至不同...
2018-09-30 09:07:00
206
转载 大数据开放平台产品落地方案
TSAD的来源：TSAD由Open-test、Open-stor、Open-api、Open-dev四大系统组成，提供API测试平台Open-test；测试通过版本可发布服务仓库Open-stor，仓库抽离单一服务，其他产品部可任意装配服务；根据业务需求将服务开放到Open-api与Open-dev供第三方企业使用与开发。一、产品架构1、系统构架...
2018-09-28 07:45:00
471
转载 华为离职副总裁徐家骏：透露年薪千万的工作感悟
从小事做起，学会吃亏，与他人合作这是研究生毕业前最后一堂课，电子电路的老师最后送给我们几句话，虽然我忘了这位老师的名字，但这几句话却至今铭记。在华为的工作实践，越发感受到这简单的几条的道理深刻。从小事做起不是一直满足于做小事，也不是夸夸其谈好高骛远。学会吃亏不是忍受吃亏，是不斤斤计较于一时一地的是非得失，是有勇气关键时候的放弃。心有多大，舞台就有多大我们很多的成功，...
2018-09-27 07:31:00
124
转载 微信支付开发中几个值得注意的地方
如今，支付的引入是很多互联网产品都需要的。为了让用户用着更“舒心”，集成像支付宝、微信支付这样的第三方支付也就成了常有的事。今天就来看看微信支付，涉及代码之处均用 Python 编写。要想开发顺利进行，首先要对业务流程有个清晰的认识。这里以微信公众号支付为例，因此也借用微信支付官方文档中的业务流程图：接下来来关注几个开发过程中的关键点，包括：生成商户订单与调用统一...
2018-09-25 09:12:00
207
转载 老王讲架构：负载均衡
Http负载均衡NginxNginx不仅是一个小巧且高效的HTTP服务器，也可以做一个高效的负载均衡反向代理，通过它接受用户的请求并分发到多个Mongrel进程可以极大提高Rails应用的并发能力Tcp负载均衡LVSLVS(LinuxVirtual Server)是由章文嵩博士主导开发的一款开源软件，可以实现Linux平台下的基于网络层的负载均衡软件Keepa...
2018-09-21 08:09:00
132
转载 支付宝系统架构内部剖析
支付宝系统架构概况典型处理默认资金处理平台财务会计支付清算核算中心交易柔性事务消息系统数据分布数据缓存支付宝技术产品线支付宝的开源分布式消息中间件–Metamorphosis(MetaQ)Metamorphosis (MetaQ...
2018-09-20 13:14:00
98
转载 Eureka开启登录认证
Eureka服务端配置一、Eureka的pom.xml 引入spring-boot-starter-security坐标 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>sp...
2018-09-19 12:01:00
968
转载 SaaS技术栈的走势
本地部署时代在软件还是“本地部署（on-premise）”的时候，SaaS的版图被大型玩家把持着，几乎所有的垂直领域（营销、支持、销售、人力）都被微软、SAP等大公司的解决方案占据。那时候的用户并没有什么“软件栈”可供选择。第一代SaaS冠军随着互联网的不断普及，SaaS模式开始发挥作用。第一代纯“SaaS”玩家获得了很好的发展势头。这些玩家提供的是垂直化而非水平化...
2018-09-18 17:20:00
328
转载 用Python实现Zabbix-API 监控
做运维的朋友应该知道，公司IDC机房经常有上架、下架、报修和报废的服务器。如果服务器数量很多的时候很容易造成监控遗漏。 大的互联网公司把监控系统和CMDB（资产管理系统|配置管理数据库系统）集成在一起，当上架一台新机器的时候CMDB里面会记录相关的信息，Zabbix根据CMDB里面信息自动Link相关的模块，添加|删除监控。很多小的公司没有资产管理系统，但作为监...
2018-09-17 08:10:00
392
转载 用kafka实现消息推送
一个人知道的Topic是单点推送，大家都知道Topic是广播。kafka消息消费机制：1.广播消费：通过定义topic前缀来标识属于广播的消息（例如：topicname：gonggao1535680698557,gonggao1535680722624,gonggao1535681677381等topic），消费这些前缀为公告的消息时，不同的角色，不同的userid...
2018-09-14 07:36:00
2657
转载 3点建议：如何在面试中回答“你最大的成就”
面试中经常会遇到一个问题：“请告诉我你最大的成就”，看似简单的问题却有很多人不知从何入手。如何回答好这个问题的确在使你战胜其它竞争对手，获得理想职位offer方面起到了关键性的作用。HR 不一定精通你所从事的专业领域的技能考核，但却能通过这一个简单的问题，判断候选人在专业领域技能如何，候选人的逻辑思维能力如何，语言表达能力如何，领导力和团队协作能力如何，计划组织能...
2018-09-13 07:19:00
3439
转载 自动化运维经验谈，以及为什么Docker是革命性的
互联网+的需要在信息越来越繁杂的互联网时代，公司所运行的项目越来越多，项目相关服务繁多，服务之间存在复杂的依赖关系，运维与管理任务越来越繁重，手工交付需要花费很多的人力与时间，且安全性和时效性均无法保证。对于多资源型分布/分离式部署项目，Udeployer应运而生。随着企业对版本上线质量和速度的要求越来越高，敏捷开发、Devops的接受度越来越高...
2018-09-12 07:56:00
219
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人