- 博客(5)
- 收藏
- 关注
RSS订阅原创 大数据学习之--win7下搭建hadoop MapReduce开发环境
前言上一篇《大数据学习之--hadoop2.7.3环境搭建》已经在一台笔记本上完成了模拟hadoop集群的搭建，这次准备在win7操作系统中采用idea开发工具 搭建hadoop MapReduce的开发环境。直接在idea中执行MapReduce程序，即可直连vmware中的hadoop集群进行模拟大数据运算。 准备工作1、安装idea（或者eclips），jdk1.8，安装...
2017-01-25 17:29:11
260
原创 大数据学习之--hadoop2.7.3环境搭建
前言最近在搞一些大数据方面产品的开发工作，运用的都是公司已经搭建好的大数据计算相关环境：比如 hive、hbase、storm等。要想更深入的了解这些计算框架，准备自己搭建一套大数据计算开发环境。 目前的大数据计算相关体系，基本都是建立在hadoop基础上，比如hive、hbase、spark、flume等。所以准备先自己搭建一套hadoop环境。以下是我的搭建流程，以及遇到的问题...
2017-01-25 16:17:34
310
原创 SimpleDateFormat是线程不安全的
概述最近在搞大数据实时计算,期间在解析时经常会用到 SimpleDateFormat对时间进行格式化。通过观察每天的日志经常会发现下列异常：java.lang.NumberFormatException: For input string: "" at java.lang.NumberFormatException.forInputString(NumberForma...
2017-01-13 15:43:32
281
原创 京东活动系统--openresty实践之路
背景 先来说下今天的主角openresty，它是一个基于 Nginx 与 Lua 的高性能 Web 平台，其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。可以使用Lua编写脚本，然后部署到Nginx Web容器中运行。利用nginx的高并发处理能力，轻松构建自己的高性能的Web服务。 但个人觉得，使用lua编写一些复杂业务逻辑不是它的专长，编写成本也比较...
2017-01-12 19:42:15
544
原创 京东活动系统--亿级流量架构应对之术
背景 京东活动系统 是一个可在线编辑、实时编辑更新和发布新活动，并对外提供页面访问服务的系统。其高时效性、灵活性等特征，极受青睐，已发展成京东几个重要流量入口之一。近几次大促，系统所承载的pv已经达到数亿级。随着京东业务的高速发展，京东活动系统的压力会越来越大。急需要一个更高效，稳定的系统架构，来支持业务的高速发展。本文主要对活动页面浏览方面的性能，进行探讨。 活动页面浏...
2016-10-24 18:53:45
279
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人