zhibin的程序日记

HIVE，SparkSql和Presto对比

一、Nginx日志例子Nginx日志例子nginx日志默认配置：log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http...

一、安装Logstash！注意，logstash至少要有1G内存才能执行在安装Logstash之前，确保已经安装了Java的运行环境2）在官网（https://www.elastic.co/）下载Logstash，目前最新版本是6.x3）下载完成之后，加压（无须编译），并复制到local目录下，这个是我正式部署的目录：/usr/local/logstash-6.2.44）测试运...

OK，这个是需要统计首页KV图的一段时间内的点击UV数（亿级别），每个KV图拥有一个唯一的ID。UV是unique visitor的简写，是指通过互联网访问、浏览这个网页的自然人。独立IP：是指独立用户/独立访客。指访问某个站点或点击某条新闻的不同IP地址的人数，独立IP只记录第一次进入网站的具有独立IP的访问者，假如一台电脑关机了，30分钟后重启，再次访问这个站那就再计算

这里使用的hadoop版本是3.1.2一些概念使用hdfs和使用linux文件系统是相似的，这里列举出常用的几个命令。在使用hdfs之前，我们必须对namenode进行格式化，这个步骤在部署伪分布式的时候已经执行过了hdfs namenode -format创建用户目录，进入hdfs时，默认目录就是/user/<username>，<username>...

本文档介绍如何设置和配置单节点Hadoop安装，以便使用Hadoop MapReduce和Hadoop分布式文件系统（HDFS）快速执行简单操作。版本：3.1.2安装1）安装环境依赖Java™ must be installed. Recommended Java versions are described at HadoopJavaVersions.ssh must be ins...

本文档介绍如何设置和配置单节点hive安装，以便使用hive快速执行简单操作。版本：3.1.1参考链接：https://cwiki.apache.org/confluence/display/Hive/GettingStarted安装前提，必须显安装和部署hadoop，并添加HADOOP_HOME环境变量1）解压hive的bin程序包，配置HIVE_HOME的环境变量，并把$...