wqhlmark64的博客

原创 批量操作相同表名前缀中多个记录的方法

以表名为ztask_1_XXX为例, 统计各表中符合条件的记录数，最大程度上使用shell和mysql命令，达到批量操作的目的。同样，删除符合条件的记录等也可通过替换select count(1)来达到。#/bin/bash#table_list=$(mysql -hXX -uxxe  -pexinie  table_name -e "show tables" | grep

转载 浅谈开源大数据平台的演变，理清各平台的历史关系和出现背景

一说到开源大数据处理平台，就不得不说此领域的开山鼻祖Hadoop，它是GFS和MapReduce的开源实现。虽然在此之前有很多类似的分布式存储和计算平台，但真正能实现工业级应用、降低使用门槛、带动业界大规模部署的就是Hadoop。得益于MapReduce框架的易用性和容错性， 以及同时包含存储系统和计算系统，使得Hadoop成为大数据处理平台的基石之一。Hadoop能够满足大部分的离线存储和离线计

原创 一张图了解大数据平台架构

转载 异构数据源海量数据交换工具-Taobao DataX 下载和使用

DataX介绍DataX是一个在异构的数据库/文件系统之间高速交换数据的工具，实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem）之间的数据交换。目前成熟的数据导入导出工具比较多，但是一般都只能用于数据导入或者导出，并且只能支持一个或者几个特定类型的数据库。这样带来的一个问题是，如果我们拥有很多不同类型的数据库/文件系统(Mysql/Orac

原创 执行mapreduce任务，出现running beyond virtual memory错误

Container [pid=28920,containerID=container_xxx] is running beyond virtual memory limits. Current usage: 1.2 GB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container.原

原创 再次折腾－启动hadoop时遇到问题

期间运行namenode的试验机因跑其它程序和任务重启过几次导致以前启动的hadoop相关的进程和服务都停了。今天有空再跑一次，遇到各种莫名其妙问题，好事多磨，也算是对先前没遇到问题的一个补充。１.　namenode 9000端口被占导致namenode startup failed       这段本地调试其它程序时启动过xdebug，它的默认端口就是9000,　netstat

转载 Session共享的几种不同实现方案

1.背景随着互联网的日益壮大,网站的pv和uv成线性或者指数倍的增加.单服务器单数据库早已经不能满足实际需求。目前大多数大型网站的服务器都采用了分布式服务集群的部署方式，所谓集群，就是让一组计算机服务器协同工作，解决大并发,大数据量瓶颈问题。但是在服务集群中，session共享往往是一个比较头疼的问题。因为session是在服务器端保存的，如果用户跳转到其他服务器的话，session就

转载 【Twitter Storm系列】flume+Kafka+Storm+HDFS 实时系统搭建

一直以来都想接触Storm实时计算这块的东西，最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档，自己也跟着整了一遍，之前罗宝的文章中有一些要注意点没提到的，以后一些写错的点，在这边我会做修正；内容应该说绝大部分引用罗宝的文章的，这里要谢谢罗宝兄弟，还有写这篇文章@晨色星空J2EE也给了我很大帮助，这里也谢谢@晨色星空J2EE之前在弄这个的时候，跟

转载 如何选择合适的开源消息中间件

我们要引入消息中间件，势必要考虑成本收益问题，怎样达到最高的性价比。很多公司的研发团队还没有专门的资源投入到基础设施的研发中，使用开源产品，扬长避短无疑是最好的方式。业界消息中间件的种类繁多，各有侧重点，看着网上的一些选型推荐，你会觉得无所适从。但我可以告诉你的是，能用的真的不多:)。 对于一般的电子商务而言，不会为了性能降低可靠性，因为一个消息的丢失，可能意味着有一笔订单无法及时处理。追

转载 单点登录SSO的实现原理

单点登录SSO（Single Sign On）说得简单点就是在一个多系统共存的环境下，用户在一处登录后，就不用在其他系统中登录，也就是用户的一次登录能得到其他所有系统的信任。单点登录在大型网站里使用得非常频繁，例如像阿里巴巴这样的网站，在网站的背后是成百上千的子系统，用户一次操作或交易可能涉及到几十个子系统的协作，如果每个子系统都需要用户认证，不仅用户会疯掉，各子系统也会为这种重复认证授权的逻辑搞

转载 PHP中9大缓存技术总结

1、全页面静态化缓存也就是将页面全部生成html静态页面，用户访问时直接访问的静态页面，而不会去走php服务器解析的流程。此种方式，在CMS系统中比较常见，比如dedecms；一种比较常用的实现方式是用输出缓存：Ob_start()******要运行的代码*******$content = Ob_get_contents();****将缓存内容写入html文件*****Ob

转载 FastCGI和PHP-FPM的关系

首先，CGI是干嘛的？CGI是为了保证web server传递过来的数据是标准格式的，方便CGI程序的编写者。web server（比如说nginx）只是内容的分发者。比如，如果请求/index.html，那么web server会去文件系统中找到这个文件，发送给浏览器，这里分发的是静态数据。好了，如果现在请求的是/index.php，根据配置文件，nginx知道这个不是静态文件，需要

转载 一张图读懂PHP YII应用的工作流程

Yii 是一个基于组件的高性能 、纯 OOP 的PHP 框架，用于快速开发大型 Web 应用。它使Web开发中的 可复用度最大化，可以显著提高Web应用开发速度。可以用于开发几乎所有的 Web 应用。由于它是轻量级的 且具备了成熟的缓存解决方案，它特别适用于开发高流量的应用，例如门户，论坛，内容管理系 统（CMS），电子商务系统等等。和多数PHP框架类似，Yii 是一个 MVC