大数据
文章平均质量分 62
零叶-福州
中级软件工程师,全栈工程师。
展开
-
搭建nginx-logstash-kafka-elasticsearch服务
1、nginx作为web服务器,用来做服务访问入口、及静态资源服务器。对access.log日志格式化为json,这里要注意$变量的取值,否则会启动异常。 log_format access_log_json '{"user_ip":"$http_x_real_ip","lan_ip":"$remote_addr","log_time":"$time_iso8601","user_requrl原创 2017-12-04 08:51:08 · 588 阅读 · 0 评论 -
Hadoop自学笔记
互联网项目的不断实施扩展壮大,数据资源肯定是越来越丰富的。大数据技术 ,我觉得在3-5年后会是一个常态技能。要实施大数据技术,数据源是一个基石。下面是自学Hadoop的一个总结:Hadoop是一个开源的大数据框架Hadoop是一个分布式计算的解决方案Hadoop=HDFS分布式文件系统+MapReduce分布式计算解决方案HDFS 分布式文件系统:存储是大数据技术的基础MapReduce编程模型:...原创 2018-02-25 17:02:03 · 241 阅读 · 0 评论