hadoop 大讲堂
元永真
做一个快乐的程序员!元:大度量;永:永久 永恒;贞:正;
展开
-
搭建Eclipse开发环境,开发MapReduce程序
搭建Eclipse开发环境,开发MapReduce程序 前面的任务中我们已经搭建了一个伪分布模式的Hadoop运行环境。小讲知道,我们绝大多数同学都习惯在Eclipse中做Java开发,这个课程就是教大家如果搭建一个基于Eclipse IDE的Hadoop开发环境。 闲话少说,走起! JDK安装配置 如果jdk已经安装成功,这里可以直接跳过jdk安装原创 2017-04-14 08:39:26 · 763 阅读 · 0 评论 -
Linux虚拟机的网络配置和系统配置
Linux虚拟机的网络配置 1、打开安装好的CentOS虚拟机dajiangtai。 2、登录到Centos系统。 3、输入ifconfig命令,先查看一下ip。 4、这个时候我们发现除了回环地址以外,我们并不能和外界通信,比如我们可以使用ping命令进行测试。 第一条的意思是ping百度,我们ping不通。 第二条是pingVM原创 2017-05-13 09:40:08 · 848 阅读 · 0 评论 -
配置linux网络环境 设置静态ip
1 vim /etc/udev/rules.d/70-persistent-net.rules 下 SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:f0:e6:d3", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0" 下图保持一致原创 2017-05-15 15:05:28 · 245 阅读 · 0 评论 -
Storm简介
实时流式计算介绍 大数据环境下,流式数据作为一种新型的数据类型,是实时数据处理所面向的数据类型,其有以下几个特征: 1. 连续性:数据一直在产生而且不会间断 2. 无边界性:数据不会结束 3. 瞬时性:数据有瞬时突发性 实时流式计算就是对流式数据的实时计算,相比传统的数据处理技术,其具有以下特点: 1. 低延迟:从处理的数据角度来看,每一条数据项都可在有限时间内原创 2017-05-16 16:06:44 · 267 阅读 · 0 评论 -
搭建Linux虚拟机
“工欲善其事,必先利其器。” 首先,还是和小讲一起搭建一个Hadoop环境吧。 Hadoop发行版本选择 从Hadoop官方网站可以看到,Hadoop最新版已经到2.7了。不过,据小讲所知,目前企业生产环境中2.2这个版本用得比较多,不少企业还停留在1.X等更低的版本,市面上很多教材采用的还是0.2X,1.X都极少,对于初学者来说,小讲建议采用2.2版本,一方面接口已经是新的接口,使用原创 2017-05-16 18:06:31 · 1024 阅读 · 1 评论 -
网站数据统计分析系统之采集服务部署
网站数据统计分析项目之采集服务部署 服务器部署方案 本机 master slave1 slave2 目标程序(ecshop) 日志采集服务器 日志采集服务器 采集服务器负载均衡 目标网站(web程序)原创 2017-06-06 23:47:34 · 494 阅读 · 0 评论 -
网站数据统计分析系统之后端脚本之OpenResty简介
网站数据统计分析项目之后端脚本之OpenResty OpenResty是什么? OpenResty 是一个基于 Nginx 与 Lua 的高性能 Web 平台,其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。 OpenResty 通过汇聚各种设计精良的 Nginx 模块(主要原创 2017-06-06 22:44:21 · 780 阅读 · 0 评论 -
网站数据统计分析项目之后端脚本解读
网站数据统计分析项目之后端脚本解读 后端脚本要完成的功能 1、解析HTTP请求参数 2、从服务器获取客户端无法获取的信息(访客ip) 3、将采集到的数据写入log 4、生成一副1×1的空gif图片作为响应内容(响应头Content-type=image/gif) 5、在响应头中通过Set-cookie为客户端植入cookie 编写后端脚本原创 2017-06-08 14:14:38 · 401 阅读 · 0 评论 -
hadoop2.2.0集群搭建.txt
自己: hadoop01 192.168.8.110 hadoop-2.2.0 hbase-0.96.2-hadoop2 NameNode、DFSZKFailoverController hadoop02 192.168.8.112 hadoop-2.2.0 hbase-0.96.2-hadoop2 zookeeper Journal原创 2017-12-29 14:40:35 · 216 阅读 · 0 评论