安装软件
大数据运维
大数据运维研发SRE
展开
-
Ignite+CDH5.8安装配置
最近在研究基于内存处理技术,其中就有比较出名的Apache Ignite的项目。应用场景是,通过Spark/Java等工具处理Parquet文件,但是直接通过Java API处理Parquet文件的性能较差,主要原因在于不能实现并行化处理。本文结构:Ignite特性;四节点安装Ignite、配置CDH-Spark环境变量;测试Ignite。Ignite特性Ignite的应用场景比较多,主要用原创 2016-11-29 21:25:38 · 2188 阅读 · 1 评论 -
CDH Manager开启alert功能
使用CDH时,需要针对多个项目进行监控,但又不想太麻烦使用专业的监控工具,所以只使用CDH自带的CDH Manager来查看相关的监控参数,并开启邮件告警通知功能。 虽然最终搞定了,但还是需要好好记录下来。网络端口确定 默认邮件端口是25,所以在确认是否可以发送邮件之前,需要端口25开放,或能够正常访问外网。特殊的邮件服务器,比如Office365/Google等,他们使用特殊...原创 2018-02-28 19:04:11 · 1677 阅读 · 1 评论 -
Apache Kylin编译CDH5.12.X
基于业务自动化需求,搭建Apache Kylin用于实时OLAP场景。一、编译官方提供的Apache Kylin目前仅支持到CDH5.7,更高版本的没有发布,或测试。针对公司的CDH版本,需要进行相关设置与编译,才能适用于公司的环境。1、Github获取代码git clone https://github.com/apache/kylin.gitgit checkou...原创 2018-03-07 11:04:09 · 1027 阅读 · 0 评论 -
Mac上MySQL配置数据导出
MAC上使用brew安装的MySQL默认没有导出权限,需要手动配置。导出报错 The MySQL server is running with the --secure-file-priv option在MySQL中查看secure-file-priv的值,发现为NULL:mysql> select @@secure-file-priv;系统环境1、MAC OS;2、MySQL 5.7;配置参数直原创 2017-02-08 09:27:12 · 2905 阅读 · 0 评论 -
Mac上MySQL出现错误:mysql.sock 错误
刚开始安装MySQL时,是直接使用brew安装的。安装之后直接能够使用,无需配置相关参数。使用一段时间之后,由于导出数据的需要,所以进行了相关配置,但出现了/tmp/mysql.sock error的问题。这里分享我解决此问题的方案。环境1、MAC OS;2、MySQL V5.7;修改配置信息主要是修改/private/etc/my.cnf文件,如果不存在,将安装文件下面support-fil原创 2017-02-08 09:17:06 · 4519 阅读 · 0 评论 -
FNLP编译安装
最近在研究dl4j的学习,其中有使用FNLP作为分词的例子。版主尝试编译源码,经过不断的查找验证,得到可行的方式。编译FNLP的源码已经在github上,地址为:https://github.com/FudanNLP/fnlp,感兴趣的朋友可以下载编译学习。同时针对下载困难的Jar包,FNLP的作者利用国内百度云盘作为下载地址,可以下载相关Jar包和Model,地址为:http://pan.baid原创 2016-11-27 13:16:33 · 1490 阅读 · 0 评论 -
Hive2.0.0安装配置
环境依赖Hive必须运行在Hadoop之上,则需要先安装Hadoop环境。关于Hadoop的安装可以参考我前文的博客,也可以参考原文作者的链接。安装Hive1.下载Hive http://apache.mirrors.ionfish.org/hive/ 我安装的是apache-hive-1.2.1-bin.tar.gz[hadoop@hftclclw0001 ~]$ pwd/home/hado转载 2016-11-27 12:48:51 · 1146 阅读 · 0 评论 -
Hbase集群安装配置-四节点-Centos6.9
最近在研究Hadoop相关组件的安装,本篇主要研究Hbase的安装。Hbase作为Hadoop家族中重要的数据库解决方案,对以后的Hive等数据库都有非常大的帮助。准备工作本节主要阐述Hbase集群的环境。系统环境:Linux6.9;JAVA:JDK1.8.0_111;Hadoop:2.6.0;Zookeeper:3.4.9(3节点:slave1/slave2/slave3)。下载文件一般原创 2016-11-26 21:53:40 · 939 阅读 · 0 评论 -
Linux安装MySQL
在Windows上安装MySQL比较简单,配置、启动服务,第一次进入不需要输入密码。但是在Centos6上安装MySQL,发现第一次安装会出现密码问题,因此有必要记录下自己的安装、配置过程,以供遗忘。安装Reposity RPM登陆MySQL官网,进入社区版下载页面,选择Redhat。MySQL官网;根据官网安装步骤,安装RPM。安装RPM的过程一般不会出现问题。当然,也可以下载RPM直接安装原创 2016-11-26 11:51:00 · 708 阅读 · 0 评论 -
Canal上手指南:mysql到kafka
1. 准备工作1.1. MySQL账号根据Canal官方说明,需要申请一个MySQL数据库的账号,该账号具有如下权限CREATE USER canal IDENTIFIED BY 'canal'; -- 至少具有如下权限GRANT SELECT, SHOW VIEW, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%'...原创 2018-11-22 21:43:32 · 3380 阅读 · 5 评论