大数据
大数据
张耘华
不想给自己打太多的标签,一句话,解决实际问题为初心。
展开
-
阿里canal数据同步
canal数据同步原创 2022-05-10 11:10:53 · 452 阅读 · 0 评论 -
centos7搭建完全分布式HDFS Hbase Flink
centos7搭建完全分布式HDFS Hbase Flink一、安装环境操作系统:CentOS7.2.1511hadoop版本:2.8.5节点信息:Namenode 192.168.0.33Datanode 192.138.0.185Datanode 192.168.0.193二、安装jdk安装jdk8,注意:hadoop2.x,必须是jdk8打开/etc/profile,在文件最后面添加如下内容export JAVA_HOME=/usr/java/defaultexport原创 2020-08-03 11:55:01 · 255 阅读 · 0 评论 -
Flink on Yarn的两种模式及HA
Flink on Yarn模式部署始末:Flink的Standalone和on Yarn模式都属于集群运行模式,但是有很大的不同,在实际环境中,使用Flink on Yarn模式者居多。那么使用on yarn模式到底好在哪呢?首先,在集群运行时,可能会有很多的集群实例包括MapReduce、Spark、Flink等等,那么如果它们全基于on Yarn就可以完成资源分配,减少单个实例集群的维护,提高集群的利用率。Flink on Yarn模式安装部署要做的其实不多,正常的步骤:1、上传二进制包 ===》.转载 2020-07-29 10:02:51 · 250 阅读 · 0 评论 -
腾讯开源业内最大多标签图像数据集,附ResNet-101模型
鹅厂福利,又是开源。最迟本月月底,腾讯AI Lab将开源“Tencent ML-Images”项目。不仅要开源多标签图像数据集ML-Images,以及业内目前同类深度学习模型中精度最高的深度残差网络ResNet-101。业内最大规模值得注意的是,这次开源的ML-Images包含了1800万图像和1.1万多种常见物体类别,在业内已公开的多标签图像数据集中,规模最大,一般科研机构及中小企业的使用场景,应该够了。此前,业内公开的最大规模的多标签图像数据集是谷歌公司的Open Images,转载 2020-05-11 13:57:16 · 413 阅读 · 0 评论