- 博客(8)
- 资源 (31)
- 收藏
- 关注
原创 solrcloud 高可用集群搭建加solr整合hbase以及向ganglia报告度量
一、环境准备 CentOS-6.4-x86_64-minimal.iso jdk-6u45-linux-i586-rpm.bin zookeeper-3.4.5.tar solr-4.6.0.zip 服务器6台: 192.168.56.11- SolrCloud.Shard1.Leader 192.168.56.12-S...
2018-11-27 16:47:15 942 2
原创 Oozie的workflow和coordinate的使用(HA)
<workflow-app name="[WF-DEF-NAME]" xmlns="uri:oozie:workflow:0.1"> ... <decision name="[NODE-NAME]"> <switch> <case to="[NODE_NAME]"&g
2018-11-16 17:02:10 1185
原创 zabbix实战
先升级Yum然后浏览器访问ip地址测试php是否安装成功。安装界面问题解决:分布式: -----------------------------------------------------------------------------------------------------...
2018-11-13 22:02:54 1986
转载 CentOS 7 下使用yum安装MySQL5.7.20
CentOS7默认数据库是mariadb, 但是 好多用的都是mysql ,但是CentOS7的yum源中默认好像是没有mysql的。上一篇安装的是5.6的但是我想安装5.7的 yum安装是最简单的 尝试过编译安装各种问题,最后就决定用yum。(经过一段时间的学习又写了一篇用源码安装mysql5.7.22的 点击打开链接)1.卸载 先停掉mysql进程 没有安装过的可以直接跳过...
2018-11-13 20:52:10 161
原创 mysql主从复制
复制原理:Mysql中有一种日志叫做bin日志(二进制日志)。这个日志会记录下所有修改了数据库的SQL语句(insert,update,delete,ALTER TABLE,grant等等)。主从复制的原理其实就是把主服务器上的BIN日志复制到从服务器上执行一遍,这样从服务器上的数据就和主服务器上的数据相同了。复制流程图:复制过程:主节点必须启用二进制日志,记录任何修改数据库数据的...
2018-11-06 16:11:42 156
原创 Spark Streaming实战对论坛网站动态行为pv,uv,注册人数,跳出率的多维度分析,实时统计每天pv,uv的sparkStreaming结合redis结果存入mysql供前端展示
论坛数据运行代码自动生成,该生成的数据会作为Producer的方式发送给Kafka,然后SparkStreaming程序会从Kafka中在线Pull到论坛或者网站的用户在线行为信息,进而进行多维度的在线分析数据格式如下:date:日期,格式为yyyy-MM-ddtimestamp:时间戳userID:用户IDpageID:页面IDchanelID:板块的IDaction:点击和注册...
2018-11-04 19:59:44 1097
原创 使用hive和sqoop来实现统计24小时每个时段的PV和UV,storm计算网站UV(去重计算模式)
【案例】使用hive和sqoop来实现网站基本指标,PV和UV1、PV统计网页浏览总量2、UV去重-》【需求】统计24小时每个时段的PV和UV-》建分区表,按天一级,按小时一级,多级分区-》第一步分析需求-》第二步获取时间字段,天,小时-》对于时间格式进行数据清洗,比如:2015-08-28 18:10:00,从中获取日期和小时-》获取需要有用的字段:id、url、guid、tra...
2018-11-04 19:58:34 1374
原创 nginx日志增加cookie信息
一、获取全部cookie信息 这个比较方便,直接在nginx.conf文件中添加$http_cookie? 1 2 3 4 5 6 log_format main '[$time_local] - $remote_addr:$remote_port - $remote_user - $upstream...
2018-11-04 19:56:13 3481
hadoop-eclipse-plugin
2017-10-23
hadoop_dll_winutil_2.7.1.zip
2017-10-20
机器学习实战
2017-10-11
python基础教程
2017-10-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人