- 博客(7)
- 收藏
- 关注
RSS订阅原创 Kafka+SparkStreaming+MongoDB
快放假了，不想说废话主要操作类package com.actionimport com.conf.{ConfigManager, ConstantsInterface}import com.until.LocalKafkaUntilsimport org.apache.kafka.clients.consumer.ConsumerRecordimport org.apache.spa...
2018-12-29 14:45:58
1559
1
原创 impala kudu的烦恼
前言有这么一个场景，mysql数据实时同步到hive，然后impala查询hive使用streamset 我将上述的流程设计完毕，但是我们必须要考虑的是hive的更新与删除，这如何处理？删除可能还有办法处理，可以使用spark程序处理，但是数据更新呢？很是为难，然后有人给我推荐使用kudu ，利用impala查询kudu。问题说干就干我开始在cdh里添加kudu但是我遇到了说我的服务器c...
2018-12-26 15:45:59
2444
原创 Elasticsearch install
installk8ssn125[root@k8sn125 opt]# curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.2.tar.gz...[root@k8sn125 opt]# tar -xvf elasticsearch-6.5.2.tar.gz[root@k8sn...
2018-12-21 17:51:42
388
1
原创 Elasticserach简介
前言最近要用ES，所以就简单的学习一下应用场景1.站内搜索主要是网页信息量比较大的网站会有站内全文检索这一功能，方便用户快速检索信息2.NosqlES在读写性能优于MongoDB,同时支持地理位置查询3.日志分析日志分析由实时日志分析平台ELK(Elasticsearch,Logsash和Kibana)ELK能够对日志进行集中收集，存储，搜索，分析，监控，以及可视化...
2018-12-21 17:49:25
1293
1
原创 redis集群安装部署
1. 工具 / 环境虚拟机环境操作系统：CentOS 73台虚拟机IP：192.168.9.139、192.168.9.140、192.168.9.141（注：Redis集群要求至少要有三个节点）2. 安装Redis# yum -y install gcc# wget http://download.redis.io/releases/redis-4.0.8.tar.g...
2018-12-18 17:24:20
773
原创 Hive注释中文乱码
前言今天刚安装完CDH环境，交给同事使用，反馈说hive有乱码问题建表语句create external table movie(userID int comment '用户ID',movieID int comment '电影ID',rating int comment '电影评分',timestamped bigint comment '评分时间戳',movieName str...
2018-12-18 13:27:34
400
原创 CDH6.0.1 HUE 访问HBase报500错误 ，无法连接thrift
前言公司决定搞新版本deCDH，然后我就安装部署了CDH6.0.1，安装的路程就不说了，本以为安装好添加服务就可以用了，可是却遇到这个问题，我开始以为thrift jar包问题，问别人要了CDH6.0.0里面的jar包替换，后面又说什么配置问题，均未解决，后来找java大神看thrift jar的源码，然后发现问题是，我们请求的服务跟它自己要去调用的服务不一致。原因找出来了，就是找不到...
2018-12-12 18:04:12
2863
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人