大数据平台
ukakasu
这个作者很懒,什么都没留下…
展开
-
docker常用命令
制作docker build -t flask:1.0 .删除imagedocker rmi id运行docker run :创建一个新的容器并运行一个命令docker create :创建一个新的容器但不启动它docker exec :在运行的容器中执行命令docker run -it -p 8000:8000 -v /home/testlog:/code/log flask:1.2 --log-level=debugdocker run -d --name=flask0 -p 8000原创 2020-11-18 16:51:44 · 335 阅读 · 0 评论 -
kafka消息长度限制
更改为10M客户端代码增加:max_request_size=10485760,服务端配置:replica.fetch.max.bytes=10485760,message.max.bytes=10485760原创 2020-09-16 14:37:26 · 5463 阅读 · 0 评论 -
nifi mysql CDC to mysql
https://community.cloudera.com/t5/Community-Articles/Change-Data-Capture-CDC-with-Apache-NiFi-Part-1-of-3/ta-p/246623https://community.cloudera.com/t5/Community-Articles/Change-Data-Capture-CDC-with-Apache-NiFi-Part-2-of-3/ta-p/246519https://commun..原创 2020-08-21 15:25:57 · 857 阅读 · 1 评论 -
minio对象存储搭建
一、ntp 服务器1 安装ntpyum install ntp1.1 服务端配置vi /etc/ntp.confrestrict 192.168.16.0 mask 255.255.255.0 nomodify notrapserver ntp1.aliyun.comserver time1.aliyun.comrestrict ntp1.aliyun.com nomodify notrap noqueryrestrict time1.aliyun.com nomodify notra原创 2020-08-11 15:30:31 · 630 阅读 · 0 评论 -
kettle7.0写入elasticsearch6.3.2
kettle7.0写入elasticsearch6.3.2插件之前写了5.x的插件,但是6.x的api改动也较大,主要介绍改动部分,源码更改编译见前篇。客户端获取,ElasticSearchBulk中private TransportClient client;private void initClient() throws UnknownHostException { ...原创 2018-09-03 17:05:03 · 6309 阅读 · 14 评论 -
kettle导入es id错误解决
kettle导入es错误解决:an id must be provided if version type or value are set问题原因:OpType Create without an ID As of 5.0 indexing a document with op_type=create without specifying an ID is not su...原创 2018-09-05 13:53:32 · 3063 阅读 · 2 评论 -
kettle7.0写入elasticsearch5.11插件
kettle7.0写入elasticsearch5.11插件kettle7.0中自带es版本支持为2.3,但是5.x版本获取客户端连接的api已改,因此需要改源码重新编译。下载kettle源码后,只提取es部分建立普通java工程,目录层级与上面一致,导入依赖jar包。jar包参照安装好的pentaho-kettle-7.0.0.0-R\plugins\elasticsea...原创 2018-08-30 09:21:20 · 5108 阅读 · 3 评论 -
kafka管理工具Kafka Eagle安装及使用
kafka管理工具Kafka Eagle安装及使用安装下载http://download.smartloli.org/解压tar -zxf kafka-eagle-bin-1.2.3.tar.gztar -zxf kafka-eagle-web-1.2.3-bin.tar.gz配置环境变量vi /etc/profileexport JAVA_HOME=/usr/...原创 2018-08-03 13:58:40 · 4588 阅读 · 0 评论 -
druid使用
druid使用一、安装druid安装使用hdp中druid-0.10.1配置sql支持: Custom druid-broker添加 druid.sql.enable=true组件: Broker 8082 Coordinator 8081 Overlord 8090 Router 8888 Hist...原创 2018-08-03 13:53:52 · 864 阅读 · 0 评论 -
元数据管理工具atlas初探
元数据管理工具atlas初探安装:Ambari添加服务(略)Hive配置:将atlas主节点/usr/hdp/2.6.3.0-235/atlas/hook拷贝到其他节点。自定义hive-env,HIVE_AUX_JARS_PATH =/usr/hdp/2.6.3.0-235/atlas/hook /hive。/usr/hdp/2.6.3.0-235/atlas/con...原创 2018-05-31 16:49:42 · 13424 阅读 · 5 评论 -
kafka生态简介
Fast Data on Cloudera (收费)https://docs.landoop.com/Fast Datahttps://docs.landoop.com/fastdata/fastdata/latest/Fast Data Toolshttps://docs.landoop.com/fastdata/fastdatatools/latest/...原创 2018-06-12 17:08:39 · 1459 阅读 · 0 评论 -
hdf组件简介
NiFi离线数据、实时数据的分布式ETL工具。支持本地文件、ftp、hdfs、数据库、hbase、es、hive、kafka等数据的in/out。Streaming Analytics ManagerStorm实时数据处理。从kafka中消费avro数据,此数据可通过nifi接入,storm处理后写入druid、hbase、hdfs等。Storm的processor包括agg...原创 2018-05-24 08:54:53 · 574 阅读 · 0 评论 -
hdf安装
HDF3.0.2安装https://docs.hortonworks.com/HDPDocuments/HDF3/HDF-3.0.2/bk_release-notes/content/ch_hdf_relnotes.htmlhttps://docs.hortonworks.com/HDPDocuments/HDF3/HDF-3.0.0/bk_installing-hdf-on-hdp/co...原创 2018-05-23 13:17:39 · 2726 阅读 · 0 评论 -
Amabri2.6.0、hdp2.6.1安装
Amabri2.6.0、hdp2.6.1在centos7下安装一、环境准备1、修改各个节点主机名vi /etc/hostname2、配置主节点hostsvi /etc/hosts2、配置免密(1)手动配置主节点执行:ssh-keygen -t rsassh-copy-id $host(第1步中的各个节点名称)(2)脚本配置3、同步hosts主节点...原创 2018-05-23 11:08:59 · 802 阅读 · 0 评论